Résultats des concours d’allocation de ressources pour 2022

Projets acceptés pour 2022

• Sommaire
• Ressources de calcul
  • Allocations de CPU
    • Mise à l’échelle des demandes de calcu
    • Quantité minimale de ressources allouées par concours et accès opportuniste aux ressources de calcul
  • Allocations de GPU
  • Allocations de ressources infonuagiques
  • Allocations de stockage
• Processus d’évaluation
  • Principes directeurs
  • Examen technique
  • Examen scientifique
• Valeur monétaire des allocations pour 2022

La plateforme de calcul informatique de pointe (CIP) était mise au service de la recherche au Canada par la fédération Calcul Canada, un partenariat entre Calcul Canada, ses organisations régionales (WestGrid, Calcul Ontario, Calcul Québec et ACENET) et des établissements de partout au pays. Offrant l’infrastructure et l’expertise pour effectuer des recherches transformatrices de niveau international, cette plateforme de CIP desservait au 1^er janvier 2022 près de 19 000 utilisatrices et utilisateurs, dont plus de 5 100 chercheuses et chercheurs d’universités canadiennes.

Calcul Canada en est à sa dernière année d’opération. En date du 1^er avril 2022, l’Alliance de recherche numérique du Canada (l’Alliance) remplacera Calcul Canada à la coordination et la gestion du financement de la plateforme nationale de CIP. Calcul Canada, ses établissements membres, ses partenaires régionaux et l’Alliance se sont engagés à minimiser la perturbation du service pendant la période de transition. 

La façon d’accéder aux ressources restera la même. Malgré le fait que Calcul Canada n’existera plus, les membres de la fédération Calcul Canada resteront en place; vous pourrez donc vous attendre à la même qualité de service que vous avez toujours reçu de leur part. Certaines ressources clés, par exemple le wiki de documentation technique, porteront encore le nom de Calcul Canada jusqu’à ce qu’un nouveau nom leur soit donné; ces ressources restent cependant valides.

Dans le cadre des concours pour l’allocation des ressources pour 2022, la plateforme nationale de CIP disposait d’environ 293 312 cœurs CPU, 62 000 CPU virtuels, 3 062 GPU et 181 Po d’espace de stockage sur les grappes et Arbutus (Université Victoria), Cedar (Université Simon-Fraser), Graham (Université de Waterloo), Niagara (Université de Toronto), et Béluga et Narval (Calcul Québec).

L’augmentation croissante des besoins fait que la demande reste toujours plus forte que l’offre. Les concours pour 2022 ont reçu le plus grand nombre de candidatures à ce jour avec 716 projets, une hausse de 10 % par rapport à 2021. Cependant, les concours de cette année n’ont satisfait que 54 % des demandes de ressources de calcul, 94 % des demandes d’espace de stockage et 24 % des demandes de GPU. Pour leur part, les demandes de vCPU (CPU virtuels) sur les nuages Arbutus, Béluga, Cedar et Graham ont été satisfaites à 79 %.

Bien que près de 80 % (en moyenne) des ressources sont allouées par voie de concours, nous réservons environ 20 % au service d’accès rapide qui met de petites capacités de calcul, de stockage et de ressources infonuagiques à la disposition de ceux et celles qui détiennent un compte.

Pour la définition de plusieurs termes utilisés ici, consultez le glossaire technique. Toute question relative au présent rapport peut être adressée à [email protected].

Tableau 1 : Candidatures aux concours d’allocation de ressources

*En date du 9 février 2022

Allocations de CPU

Les concours de 2022 ont satisfait à 54 % la demande en ressources de calcul (cœurs-année), soit autant qu’en 2021. Béluga, Cedar, Graham, Narval et Niagara fournissent 100 % de la capacité disponible, soit environ 293 312 cœurs, dont près de 80 % sont alloués par voie de concours.

Tableau 2 : Allocations de CPU pour 2022

Tableau 3 : Évolution de la demande de CPU

Mise à l’échelle des demandes de calcul

Comme mentionné ci-dessus, les ressources en CIP ne suffisaient pas à satisfaire les demandes reçues pour les concours de 2022.

Les demandes ont donc été mises à l’échelle pour les adapter aux ressources insuffisantes. La procédure, cautionnée par les présidentes et présidents des comités d’examen, a été mise en place afin que seules les candidatures ayant une note égale ou supérieure à 3,0 (sur 5) reçoivent une allocation de ressources. Les chercheuses et chercheurs qui n’ont pas reçu d’allocation peuvent toutefois se prévaloir de la possibilité d’une utilisation opportuniste par le biais du service d’accès rapide. La note moyenne attribuée à l’ensemble des demandes pour 2022 se situe à 3,7.

Les demandes en termes de cœurs-année sont mises à l’échelle d’après la note générale obtenue par la demande et la capacité demandée. Les détails de la fonction de mise à l’échelle et quelques exemples sont présentés ici. Pour plus d’information, écrivez à [email protected].

Quantité minimale de ressources allouées par concours et accès opportuniste aux ressources de calcul

Tous les chercheurs et chercheuses et leurs utilisateurs parrainés qui disposent d’un compte actif peuvent se prévaloir d’un accès opportuniste aux CPU et aux GPU par le service d’accès rapide. Puisque l’utilisation est purement opportuniste, il est impossible de garantir combien de ressources peuvent être consommées par les projets qui n’ont pas fait l’objet d’une demande aux concours.

Les demandes minimales admissibles aux concours d’allocation de ressources sont présentement 50 cœurs-années et 10 GPU-années. Ces valeurs servent en partie à contrôler la quantité de demandes qui doivent être soumises à l’examen. Comme le nombre de demandes augmente chaque année, la charge de travail des comités d’examen augmente aussi proportionnellement. Le fait de disposer d’une allocation égale au minimum admissible garantit une plus haute priorité aux tâches soumises. 

Même en se prévalant d’une utilisation opportuniste, nos données montrent que plusieurs groupes qui n’ont pas reçu d’allocation par suite des concours peuvent atteindre et même dépasser les minimums mentionnés ci-dessus. Pour maximiser l’utilisation en calcul, les stratégies suivantes sont employées :

• conserver des tâches dans la queue de façon régulière;

• tolérer un temps d’attente plus long avant le lancement des tâches;

• soumettre des tâches ayant des caractéristiques optimales.

Par exemple, des tâches opportunistes de courte durée qui nécessitent quelques cœurs d’une grappe d’usage général seront habituellement exécutées plus rapidement que celles qui requièrent quelques dizaines de cœurs.

Pour savoir comment maximiser l’utilisation de ressources si vous ne disposez pas de ressources allouées par voie de concours, veuillez lire attentivement les pages Allocation et ordonnancement et Politique d’ordonnancement des tâches ou écrivez à [email protected].

Allocations de GPU

La concurrence pour les ressources GPU est toujours plus forte que celle pour les CPU; les tableaux 4 et 5 indiquent que la demande en GPU est environ trois fois plus grande qu’il y a cinq ans. La demande pour 2022 a été comblée à 24 %. 

Les allocations de GPU sont déterminées d’après la note générale obtenue par la demande; la justification technique des besoins en ressources; la preuve d’une utilisation précédente de GPU; le domaine de recherche (par exemple intelligence artificielle, apprentissage machine, etc.); et la taille du groupe de recherche.

Il ne faut pas oublier que :

1. les chercheuses et chercheurs qui présentent une demande aux concours trouvent difficile d’estimer leurs besoins en GPU et, dans la plupart des cas, ils en demandent beaucoup plus qu’ils n’en utilisent. Avant de présenter une demande, nous les encourageons fortement à faire deux choses : commencer à utiliser les GPUpour mieux cerner leurs besoins, et consulter notre équipe technique qui peut les aider à évaluer la performance de leurs programmes et à estimer plus exactement leurs besoins en GPU;

2. les allocations de GPU sont contraintes entre autres par le type de GPU demandé (Pascal, Volta, T4) et le nombre disponible sur chaque grappe;

3. les demandes de GPU pour des applications d’intelligence artificielle ont considérablement augmenté.

Tableau 4 : Allocation de GPU par grappe pour 2022

Tableau 5 : Évolution de la demande de GPU

Allocations de ressources infonuagiques

La grappe Arbutus de l’Université de Victoria peut allouer 41 920 vCPU (CPU virtuels). Ils sont disponibles via les concours d’allocation de ressources et le service d’accès rapide et sont aussi utilisés par les services internes pour le développement de logiciels et l’hébergement. Des petites capacités infonuagiques sont aussi disponibles sur Cedar, Graham et Béluga. La demande globale de vCPU a augmenté de 14 % en 2022 : la demande pour les vCPU de calcul a connu une hausse de 14 % et celle pour les vCPU persistants de 21 %.

Le surprovisionnement des vCPU persistants à un ratio de 10:1 a permis une expansion significative des allocations persistantes au cours des dernières années. L’utilisation des cœurs réels a suivi le rythme des ajouts de matériel et dépasse largement 80 %, un seuil au-delà duquel l’ajout d’instances de calcul devient difficile.

Avec Arbutus et les nœuds ajoutés à Cedar, Graham et Béluga, nous avons pu allouer par concours 79 % des vCPU demandés. 

Tableau 6 : Évolution de la demande de vCPU

Allocations de stockage

Ensemble, les ressources intégrées à Arbutus, Béluga, Cedar, Graham, Narval et Niagara permettent le stockage en ligne d’environ 181 Po pour 2022. Ainsi, 94 % de la capacité de stockage a été allouée.

Tableau 7 : Allocations de stockage (en To)

Calcul Canada basait les concours d’allocation de ressources annuels sur les exigences de la Fondation canadienne pour l’innovation (FCI) en vue d’attribuer les ressources de CIP selon le mérite scientifique des projets. En plus de devoir satisfaire à ces exigences, la justification technique de la demande est aussi examinée.

Deux processus étaient en place :

• un examen scientifique effectué bénévolement par plus de 100 pairs experts en provenance de divers établissements d’enseignement canadiens qui jugent du mérite des projets soumis aux concours. Chaque demande reçoit une note qui sert à guider objectivement les décisions relatives à l’allocation des ressources;

• une évaluation technique effectuée par le personnel, qui vérifie le bien-fondé des ressources nécessaires au projet décrites dans la demande et recommande la grappe appropriée au projet, selon ses besoins.

Les processus d’évaluation sont supervisés par le comité administratif du programme d’accès aux ressources composé de représentants de chacune des régions et des sites hôtes de l’infrastructure nationale de calcul.

Les nouvelles demandes sont soumises aux examens techniques et scientifiques, alors que seul un examen technique est fait pour les demandes accélérées et les demandes pluriannuelles pour les projets de plateformes et portails de recherche.

Principes directeurs

Les principes directeurs des concours pour l’allocation des ressources sont :

• toutes les demandes sont traitées équitablement;

• les ressources sont allouées sur la base du mérite du projet plutôt que sur le mérite du programme de recherche; 

• la quantité de ressources de calcul allouée n’est pas directement proportionnelle à la qualité ou à l’excellence des résultats escomptés; certaines recherches importantes peuvent être accomplies avec relativement peu de ressources de calcul; 

• les difficultés posées par le manque de ressources et les autres contraintes liées aux systèmes sont partagées entre toutes les candidatures.

Examen technique

Cet examen est effectué par l’équipe technique pour

• veiller à ce que le chercheur principal ou la chercheuse principale soumette une demande pour une ressource appropriée et assurer la disponibilité des logiciels nécessaires;

• évaluer l’efficacité et la scalabilité de la demande;

• identifier les groupes qui pourraient avoir besoin d’aide avec l’optimisation du code et des processus;

• relever les disparités entre la demande soumise en ligne et la description complète du projet;

• repérer les exigences logicielles particulières;

• fournir une opinion technique sur le caractère raisonnable de la demande.

Avant d’avoir accès aux demandes, le personnel technique doit signer une entente de confidentialité et de non-divulgation.

Examen scientifique

Un comité de pairs experts examine chaque demande et lui attribue une note au mérite scientifique. Avant d’avoir accès aux demandes, les membres des comités de pairs experts doivent signer une entente de confidentialité et de non-divulgation et accepter de se conformer à la politique en matière de conflits d’intérêts.

La note accordée à une demande se base sur :

• l’excellence scientifique du projet pour lequel les ressources de calcul sont demandées;

• la faisabilité scientifique et technique du projet;

• la pertinence des ressources demandées par rapport aux objectifs du projet;

• la probabilité que les ressources demandées seront utilisées de façon efficiente.

Les demandes sont évaluées par les comités suivants : 

• Astronomie, astrophysique et cosmologie

• Bio-informatique

• Chimie, biochimie et biophysique

• Sciences informatiques et mathématiques

• Génie

• Sciences de la Terre et de l’environnement

• Sciences humaines et sociales

• Nanotechnologie, matériaux et matière condensée

• Neurosciences, imagerie médicale et physique médicale

• Physique des particules subatomiques, physique nucléaire et physique cosmique

Le tableau suivant montre les moyennes pour l’ensemble de la plateforme de CHP; les montants incluent le coût en capital et le coût d’exploitation des ressources et services. Il ne s’agit pas de la valeur sur le marché. La valeur est calculée sur une base annuelle.

Tableau 8 : Valeur des allocations