Résultats des concours d’allocation de ressources pour 2021

Projets acceptés pour 2021

• Sommaire
• Ressources de calcul
  • Allocations de CPU
  • Mise à l’échelle des demandes de calcul
  • Quantité minimale de ressources allouées par concours
  • Allocations de GPU
  • Allocations de ressources infonuagiques
  • Allocations de stockage
• Processus d’examen
• Valeur monétaire des allocations

 La fédération Calcul Canada met la plateforme de calcul informatique de pointe (CIP) au service de la recherche au Canada. La fédération est un partenariat entre Calcul Canada, ses organisations régionales (WestGrid, Calcul Ontario, Calcul Québec et ACENET) et des établissements de partout au pays. Offrant l’infrastructure et l’expertise pour effectuer des recherches transformatrices de niveau international, la plateforme de CIP desservait au 1^er janvier 2021 près de 18 000 utilisateurs, dont plus de 4 850 chercheuses et chercheurs d’universités canadiennes.

Dans le cadre des concours pour l’allocation des ressources pour 2021, la plateforme nationale de calcul de haute performance disposait d’environ 233 000 cœurs CPU, 62 000 CPU virtuels, 2 610 GPU et 150 Po d’espace de stockage sur les grappes Cedar (Université Simon-Fraser), Graham (Université de Waterloo), Niagara (Université de Toronto), Béluga (Calcul Québec) et Arbutus (Université Victoria). 

L’augmentation croissante des besoins fait que la demande reste toujours plus forte que l’offre. Les concours pour 2021 ont reçu le plus grand nombre de candidatures à ce jour avec 651 projets, une hausse de 10 % par rapport à 2020. Cependant, les concours de cette année n’ont satisfait que 40 % des demandes de ressources de calcul, 90 % des demandes d’espace de stockage et 22 % des demandes de GPU. Pour leur part, les demandes de vCPU (CPU virtuels) sur les nuages Arbutus, Béluga, Cedar et Graham ont été satisfaites à 100 %.

Près de 80 % (en moyenne) des ressources sont allouées par voie de concours, le reste étant réservé au service d’accès rapide qui met de petites capacités de calcul, de stockage et de ressources infonuagiques à la disposition de tous les détenteurs d’un compte avec Calcul Canada.
Pour la définition de plusieurs termes utilisés ici, consultez le glossaire technique. Toute question relative au présent rapport peut être adressée à notre équipe technique.

Tableau 1 : Candidatures aux concours d’allocation de ressources

En date du 3 mars 2021

Allocations de CPU

Les concours de 2021 ont satisfait à 40 % la demande en ressources de calcul (cœurs-année), soit autant qu’en 2020. Cedar, Graham, Niagara et Béluga fournissent 100 % de la capacité disponible, soit environ 233 000 cœurs, dont près de 80 % sont alloués par voie de concours.

Tableau 2 : Allocations de CPU pour 2021

Tableau 3 : Évolution de la demande de CPU

Mise à l’échelle des demandes de calcul

Comme mentionné ci-dessus, les ressources en CIP ne suffisaient pas à satisfaire les demandes reçues pour les concours de 2021.

Les demandes ont donc été mises à l’échelle pour les adapter aux ressources insuffisantes. La procédure, cautionnée par les présidentes et présidents des comités d’examen, a fait en sorte que seules les candidatures ayant une note égale ou supérieure à 3,0 (sur 5) pouvaient recevoir une allocation de ressources. Les demandeurs qui n’ont pas reçu d’allocation peuvent toujours se prévaloir de la possibilité d’une utilisation opportuniste par le biais du service d’accès rapide. La note moyenne attribuée à l’ensemble des demandes pour 2021 se situe à 3,5.
Les demandes de cœurs-année sont mises à l’échelle d’après la note générale obtenue par la demande et la capacité demandée. Les détails de la fonction de mise à l’échelle et quelques exemples sont présentés ici. Pour plus d’information, écrivez-nous.

Quantité minimale de ressources allouées par concours et accès opportuniste aux ressources de calcul

Tous les chercheurs et chercheuses et leurs utilisateurs parrainés qui disposent d’un compte actif avec Calcul Canada peuvent se prévaloir d’un accès opportuniste aux CPU et aux GPU par le service d’accès rapide. Puisque l’utilisation est purement opportuniste, il est impossible de garantir combien de ressources peuvent être consommées par les projets qui n’ont pas fait l’objet d’une demande aux concours.

Les demandes minimales admissibles aux concours d’allocation de ressources sont présentement 50 cœurs-années et 10 GPU-années. Ces valeurs servent en partie à contrôler la quantité de demandes qui doivent être soumises à l’examen. Comme le nombre de demandes augmente chaque année, la charge de travail des comités d’examen augmente aussi proportionnellement. Le fait de disposer d’une allocation égale au minimum éligible garantit une plus haute priorité aux tâches soumises. 

Même en se prévalant d’une utilisation opportuniste, nos données montrent que plusieurs groupes qui n’ont pas reçu d’allocation par suite des concours peuvent atteindre et même dépasser les minimums mentionnés ci-dessus. Pour maximiser l’utilisation en calcul, les stratégies suivantes sont employées :

• conserver des tâches dans la queue de façon régulière;
• tolérer un temps d’attente plus long avant le lancement des tâches;
• soumettre des tâches ayant des caractéristiques optimales.

Par exemple, des tâches opportunistes de courte durée qui nécessitent quelques cœurs d’une grappe d’usage général seront habituellement exécutées plus rapidement que celles qui requièrent une dizaine de cœurs.

Pour savoir comment maximiser l’utilisation de ressources si vous ne disposez pas de ressources allouées par voie de concours, veuillez lire attentivement les pages Allocation et ordonnancement et Politique d’ordonnancement des tâches ou écrivez-nous.

Allocations de GPU

La concurrence pour les ressources GPU est toujours plus forte que celle pour les CPU; les tableaux 4 et 5 indiquent que la demande en GPU est environ 10 fois plus grande qu’en 2016. Malgré une diminution d’environ 23 % des ressources GPU par rapport à 2020, la demande pour 2021 sera comblée à 22 %. 

Les allocations de GPU sont déterminées d’après : la note générale obtenue par la demande; la justification technique des besoins en ressources; la preuve d’une utilisation précédente de GPU; le domaine de recherche (par exemple intelligence artificielle, apprentissage machine, etc.); et la taille du groupe de recherche.

Il ne faut pas oublier que :

1. les chercheuses et chercheurs qui présentent une demande aux concours trouvent difficile d’estimer leurs besoins en GPU et, dans la plupart des cas, ils en demandent beaucoup plus qu’ils n’en utilisent. Avant de présenter une demande, nous encourageons fortement les utilisateurs à faire deux choses : commencer à utiliser les GPU pour mieux cerner leurs besoins, et consulter notre équipe technique qui peut les aider à évaluer la performance de leurs programmes et à estimer plus exactement leurs besoins en GPU;
2. les allocations de GPU sont contraintes entre autres par le type demandé (Pascal, Volta, T4) et la quantité disponible sur chaque grappe;
3. les demandes de GPU pour des applications d’intelligence artificielle ont considérablement augmenté.

Tableau 4 : Allocation de GPU par grappe pour 2021

Tableau 5 : Évolution de la demande de GPU

Allocations de ressources infonuagiques

La grappe Arbutus de l’Université de Victoria peut allouer 41 920 vCPU (CPU virtuels). Ils sont disponibles via les concours d’allocation de ressources et le service d’accès rapide et sont aussi utilisés par les services internes de Calcul Canada pour le développement de logiciels et l’hébergement. Des petites capacités infonuagiques sont aussi disponibles sur Cedar, Graham et Béluga. La demande globale de vCPU a augmenté de 65 % en 2021 : la demande pour les vCPU de calcul a connu une hausse de 74 % et celle pour les vCPU persistants de 20 %.

Le surprovisionnement des vCPU persistants à un ratio de 10:1 a permis une expansion significative des allocations persistantes au cours des dernières années. Malgré une demande en vCPU légèrement plus faible cette année, l’utilisation des cœurs réels a suivi le rythme des ajouts de matériel et dépasse largement 80 %, un seuil au-delà duquel l’ajout d’instances de calcul devient difficile.

Avec Arbutus et les nœuds ajoutés à Cedar, Graham et Béluga, nous avons pu allouer par concours 100 % des vCPU demandés. 

Allocations de stockage

Ensemble, les ressources intégrées à Cedar, Graham, Arbutus, Niagara et Béluga permettent le stockage en ligne d’environ 151 Po pour 2021. Ainsi, la fédération Calcul Canada a pu allouer 90 % de sa capacité de stockage.

Tableau 6 : Allocations de stockage (en To)

Les concours pour l’allocation des ressources de la fédération Calcul Canada sont basés sur les exigences de la Fondation canadienne pour l’innovation (FCI) en vue d’attribuer les ressources de calcul de haute performance selon le mérite scientifique des projets. Les demandes font ainsi l’objet de deux évaluations :

• une évaluation scientifique effectuée bénévolement par plus de 80 pairs experts en provenance de divers établissements d’enseignement canadiens qui jugent du mérite des projets soumis aux concours. Chaque demande reçoit une note qui sert à guider objectivement les décisions relatives à l’allocation des ressources;
• une évaluation technique effectuée par le personnel de la fédération Calcul Canada pour vérifier le bien-fondé des ressources demandées et recommander la grappe appropriée au projet.

Le processus d’évaluation est supervisé par le comité administratif des concours d’allocation des ressources qui est composé de représentants des sites hôtes de l’infrastructure nationale de calcul.

Les nouvelles demandes sont soumises aux examens techniques et scientifiques, alors que seul un examen technique est fait pour les demandes accélérées et les demandes pluriannuelles pour les projets de plateformes et portails de recherche.

Principes directeurs

Les principes directeurs des concours pour l’allocation des ressources sont :

• toutes les demandes sont traitées équitablement;
• les ressources sont allouées sur la base du mérite des projets plutôt que sur le mérite du programme de recherche; 
• la quantité de ressources de calcul allouée n’est pas directement proportionnelle à la qualité ou à l’excellence des résultats escomptés; certaines recherches importantes peuvent être accomplies avec relativement peu de ressources de calcul; 
• les difficultés posées par le manque de ressources et les autres contraintes liées aux systèmes sont partagées entre tous les participants.

Examen technique

Cet examen est effectué par l’équipe technique de la fédération Calcul Canada et vise les objectifs suivants :

• veiller à ce que le chercheur principal soumette une demande pour une ressource appropriée et assurer la disponibilité des logiciels nécessaires;
• évaluer l’efficacité et la scalabilité de la demande;
• identifier les groupes qui pourraient avoir besoin d’aide avec l’optimisation du code et des processus;
• relever les disparités entre la demande soumise en ligne et la description complète du projet;
• repérer les exigences logicielles particulières;
• fournir une opinion technique sur le caractère raisonnable de la demande.

Avant d’avoir accès aux demandes, le personnel technique doit signer une entente de confidentialité et de non-divulgation.

Examen scientifique

Un comité de pairs experts examine chaque demande et lui attribue une note au mérite scientifique. Avant d’avoir accès aux demandes, les membres des comités de pairs experts doivent signer une entente de confidentialité et de non-divulgation et accepter de se conformer à notre politique en matière de conflits d’intérêts.

La note accordée à une demande se base sur :

• l’excellence scientifique du projet de recherche pour lequel les ressources de calcul sont demandées;
• la faisabilité scientifique et technique du projet;
• la pertinence des ressources demandées par rapport aux objectifs du projet;
• la probabilité que les ressources demandées seront utilisées de façon efficiente.

Les demandes sont évaluées par les comités listés ci-dessous. 

• Astronomie, astrophysique et cosmologie
• Bio-informatique
• Chimie, biochimie et biophysique
• Sciences informatiques et mathématiques
• Génie
• Sciences de la Terre et de l’environnement
• Sciences humaines et sociales
• Nanotechnologie, matériaux et matière condensée
• Neurosciences, imagerie médicale et physique médicale
• Physique des particules subatomiques, physique nucléaire et physique cosmique

Le tableau suivant montre les moyennes pour l’ensemble de la plateforme de CHP; les montants incluent le coût en capital et le coût d’exploitation des ressources et services. Il ne s’agit pas de la valeur sur le marché. La valeur est calculée sur une base annuelle.

Tableau 7 : Valeur des allocations