Résultats du concours d’allocation de ressources pour 2023

Projets acceptés pour 2023

• Sommaire
• Ressources de calcul informatique de pointe
  • Capacité minimale pour un projet et accès opportuniste aux ressources de calcul
  • Allocations de CPU
    • Mise à l’échelle des demandes de CPU
  • Allocations de GPU
  • Allocations de stockage
  • Allocations de ressources infonuagiques
• Processus d'évaluation
  • Principes directeurs
  • Examen technique
  • Examen scientifique
• Valeur monétaire des allocations pour 2023

La Fédération de l’Alliance de recherche numérique du Canada est responsable de la plateforme canadienne de calcul informatique de pointe en partenariat avec les organisations régionales Calcul Ontario, Calcul Québec, ACENET, Groupe de l’IRN de la C.-B., IRN des Prairies, ainsi que des établissements de partout au pays. Offrant l’infrastructure et l’expertise pour des recherches transformatrices de niveau international, cette plateforme desservait au 1^er janvier 2023 près de 20 000 utilisatrices et utilisateurs, dont plus de 5 376 chercheuses et chercheurs canadiens.

Dans le cadre du concours pour l’allocation des ressources pour 2023, la plateforme nationale de calcul informatique de pointe disposait d’environ 263 326 CPU, 56 405 vCPU (CPU virtuels), 2 569 GPU et 190,5 Po d’espace de stockage sur les grappes Arbutus (Université Victoria), Cedar (Université Simon-Fraser), Graham (Université de Waterloo), Niagara (Université de Toronto), et Béluga et Narval (Calcul Québec). Bien qu’en moyenne près de 80 % des ressources sont allouées par voie de concours, nous réservons toutefois environ 20 % au service d'accès rapide qui met de petites capacités de calcul, de stockage et de ressources infonuagiques à la disposition de ceux et celles qui détiennent un compte.

L’augmentation sans cesse croissante des besoins fait que la demande reste toujours plus forte que l’offre. Un total de 707 candidatures ont été présentées au concours pour 2023 et l’infrastructure a pu combler 47 % des besoins en ressources de calcul, 80 % des besoins en espace de stockage et 20 % des besoins en GPU. D’autre part, les besoins en vCPU sur les nuages Arbutus, Béluga, Cedar et Graham ont été satisfaits à 77 %.

Pour la définition de plusieurs termes utilisés ici, consultez le glossaire technique. Toute question relative aux présents résultats peut être adressée à [email protected].

Tableau 1 : Candidatures au concours d’allocation de ressources

*En date du 13 février 2023

Capacité minimale pour un projet et accès opportuniste aux ressources de calcul

Pour être admissible à présenter une demande au concours, un projet doit nécessiter un minimum de 50 cœurs-années CPU et 10 GPU-années. Ces valeurs servent en partie à contrôler la quantité de demandes qui doivent être soumises à l’examen scientifique. Le fait de disposer d’une allocation qui respecte la capacité minimale garantit une plus haute priorité aux tâches soumises. 

Outre les ressources allouées via le concours, tous les chercheurs et chercheuses ainsi que leurs utilisateurs parrainés peuvent se prévaloir d’un accès opportuniste aux CPU et aux GPU pourvu qu'ils disposent d’un compte actif. Puisque l’utilisation est purement opportuniste, il est impossible de garantir combien de ressources peuvent être consommées par les projets qui n’ont pas fait l’objet d’une demande au concours.

L’historique de l’utilisation montre que plusieurs groupes qui n’ont pas obtenu d’allocation par suite du concours peuvent atteindre et même dépasser les minimums mentionnés ci-dessus. Pour maximiser l’utilisation des ressources en calcul, les stratégies suivantes sont employées :

• conserver des tâches dans la queue de façon régulière;
• tolérer un temps d’attente plus long avant le lancement des tâches;
• soumettre des tâches ayant des caractéristiques optimales. 

Par exemple, des tâches opportunistes de courte durée qui nécessitent quelques cœurs d’une grappe d’usage général seront habituellement exécutées plus rapidement que celles qui requièrent quelques dizaines de cœurs.

Pour savoir comment maximiser l’utilisation de ressources si vous ne disposez pas de ressources allouées par voie de concours, veuillez lire attentivement les pages Allocation et ordonnancement et Politique d’ordonnancement des tâches ou écrivez à [email protected].

Allocations de CPU

Le concours de 2023 a satisfait à 47 % la demande en CPU, ce qui représente une baisse de 7 % par rapport à l’année dernière. Béluga, Cedar, Graham, Narval et Niagara fournissent 100 % de la capacité offerte, soit environ 263 326 cœurs, dont près de 80 % sont alloués par voie de concours.

Tableau 2 : Allocations de CPU par grappe

Tableau 3 : Évolution de la demande de CPU

Mise à l’échelle des demandes de CPU

Comme mentionné au préalable, les ressources en calcul informatique de pointe ne suffisaient pas à satisfaire les demandes reçues pour le concours de 2023.

Les demandes ont donc été mises à l’échelle pour les adapter aux ressources insuffisantes. La procédure, cautionnée par les présidentes et présidents des comités d’examen, a été mise en place afin que seules les candidatures ayant reçu une note égale ou supérieure à 3,0 (sur 5) obtiennent une allocation de ressources. Les chercheuses et chercheurs qui n’ont pas obtenu l’allocation de CPU peuvent toutefois se prévaloir de la possibilité d’une utilisation opportuniste par le biais du service d'accès rapide. La note moyenne attribuée à l’ensemble des demandes pour 2023 se situe à 3,7.

Les demandes en termes de CPU sont mises à l’échelle d’après la note générale obtenue par la demande et la capacité demandée. Les détails de la fonction de mise à l’échelle et quelques exemples sont présentés ici. Pour plus d’information, écrivez à [email protected].
 

Allocations de GPU

La concurrence pour les ressources GPU est toujours plus forte que celle pour les CPU; les tableaux 4 et 5 indiquent que la demande de GPU est environ trois fois plus grande qu’il y a cinq ans. La demande pour 2023 a été satisfaite à 20 %.  

Les allocations de GPU sont déterminées d’après 

• la note générale obtenue par la demande; 
• la justification technique des besoins en ressources; 
• la preuve d’une utilisation précédente de GPU; 
• le domaine de recherche (par exemple intelligence artificielle, apprentissage machine, etc.); et 
• la taille du groupe de recherche.

Il ne faut pas oublier que :

• les chercheuses et chercheurs qui présentent une demande au concours trouvent difficile d’estimer leurs besoins en GPU et, dans la plupart des cas, ils en demandent beaucoup plus qu’ils n’en utilisent. Avant de présenter une demande, nous les encourageons fortement à faire deux choses : 1. commencer à utiliser les GPU pour mieux cerner leurs besoins, et 2. consulter notre équipe technique qui peut les aider à évaluer la performance de leurs programmes et à estimer plus exactement leurs besoins en GPU;
• les allocations de GPU sont contraintes entre autres par le type de GPU demandé (Pascal, Volta, T4) et le nombre disponible sur chaque grappe;
• les demandes de GPU pour des applications d’intelligence artificielle ont considérablement augmenté.

Tableau 4 : Allocation de GPU par grappe

Tableau 5 : Évolution de la demande de GPU

Année	GPU-année disponibles	GPU-année demandés	GPU- année alloués	Écart	Demande satisfaite à
2023	2 569	9 826	2 012	7 814	20 %
2022	3 062	9 070	2 161	6 909	24 %
2021	2 610	9 980	2 187	7 370	22 %
2020	2 552	12 885	1 936	11 165	15 %
2019	1 664	6 555	1 331	5 224	20 %
2018	976	4 092	840	3 252	20 %
2017	1 420	2 790	1 047	1 743	39 %
2016	373	1 357	269	1 088	20 %
2015	482	608	300	308	49 %
2014	s.o.	420	308	112	73 %
2013	s.o.	390	259	131	66 %

 

 

Allocations de stockage 

Ensemble, les ressources intégrées à Arbutus, Béluga, Cedar, Graham, Narval et Niagara permettent le stockage en ligne d'environ 190.5 Po pour 2023. Ainsi, 80 % de la capacité de stockage a été allouée.

 

 

Tableau 6 : Évolution de la demande de stockage

Année	Stockage disponible (To)	Stockage demandé (To)	Stockage alloué (To)	Demande satisfaite à
2018	63 340	60 126	43 508	80 %
2019	101 344	89 898	77 923	94 %
2020	143 914	109 718	100 222	90 %
2021	150 915	135 427	122 272	91 %
2022	190 479	161 186	151 775	87 %
2023	190 479	192 363	153 639	72 %

 

 Tableau 7 : Allocations de stockage par type pour 2023

Catégorie	Type	Espace disponible	Espace demandé	Espace alloué	Demande satisfaite à
CHP	project	63 052	74 025	53 884	73 %
CHP	nearline	97 800	84 348	71 827	85 %
CHP	dCache	13 680	14 140	13 740	97 %
nuage	volumes et instantanés	4 947	2 895	2 833	98 %
nuage	objet	8 000	13 732	8 477	62 %
nuage	partagé	3 000	3 223	2 878	89 %
	Total	190 479	192 363	153 639	80 %

 

Allocations de ressources infonuagiques

La grappe Arbutus de l’Université de Victoria peut allouer 41 920 vCPU (CPU virtuels). Ils sont disponibles via le concours d’allocation de ressources et le service d’accès rapide et sont aussi utilisés par les services internes pour le développement de logiciels et l’hébergement. De petites capacités infonuagiques sont aussi disponibles sur Cedar, Graham et Béluga. Pour 2023, la demande totale de vCPU a augmenté de 3 %  : la demande pour les vCPU de calcul sont en hausse de 3 % et celle pour les vCPU persistants de 44 %.

Le surprovisionnement des vCPU persistants à un ratio de 10:1 a permis une expansion significative des allocations persistantes au cours des dernières années. La demande pour des cœurs réels continue d’augmenter alors que la capacité disponible diminue en raison du matériel qui exige de plus en plus de maintenance. Ceci résulte en une utilisation qui dépasse largement les 80 %, un seuil au-delà duquel l’ordonnancement d’instances de calcul plus exigeantes devient difficile.

Avec Arbutus et les nœuds ajoutés à Cedar, Graham et Béluga, nous avons pu allouer par concours 77 % des vCPU demandés. 

 

Tableau 8 : Évolution de la demande de vCPU

Année	vCPU-année disponibles	vCPU-année demandés	vCPU- année alloués	Demande satisfaite à
2023	56 405	35 618	27 313	77 %
2022	62 549	34 536	27 444	79 %
2021	62 549	30 323	24 443	81 %
2020	50 501	18 330	18 229	99 %
2019	29 147	19 479	18 511	95 %
2018	24 854	12 480	11 829	95 %

 

 

Deux processus sont en place :

• un examen scientifique effectué bénévolement par plus de 100 pairs experts en provenance de divers établissements d’enseignement canadiens qui jugent du mérite des projets soumis au concours. Chaque demande reçoit une note qui sert à guider objectivement les décisions relatives à l’allocation des ressources;
• une évaluation technique effectuée par le personnel, qui vérifie le bien-fondé des ressources décrites dans la demande et recommande la grappe appropriée au projet, selon ses besoins.

Les processus d’évaluation sont supervisés par le comité administratif du programme d’accès aux ressources composé de représentants de chacune des régions et des sites hôtes de l’infrastructure nationale de calcul.

Les nouvelles demandes sont soumises aux examens techniques et scientifiques, alors que seul un examen technique est fait pour les demandes accélérées et les demandes pluriannuelles pour les projets de plateformes et portails de recherche.

Principes directeurs

Les principes directeurs du concours pour l’allocation des ressources sont :

• toutes les demandes sont traitées équitablement;
• les ressources sont allouées sur la base du mérite du projet plutôt que sur le mérite du programme de recherche; 
• la quantité de ressources allouée n’est pas directement proportionnelle à la qualité ou à l’excellence des résultats escomptés; certaines recherches importantes peuvent être accomplies avec relativement peu de ressources;  
• les difficultés posées par le manque de ressources et les autres contraintes liées aux systèmes sont partagées entre toutes les candidatures.

Examen technique

Cet examen est effectué par l'équipe technique pour

• veiller à ce que le chercheur principal ou la chercheuse principale soumette une demande pour une ressource appropriée et assurer la disponibilité des logiciels nécessaires;
• évaluer l'efficacité et la scalabilité de la demande;
• identifier les groupes qui pourraient avoir besoin d’aide avec l’optimisation du code et des processus;
• relever les disparités entre la demande soumise en ligne et la description complète du projet;
• repérer les exigences logicielles particulières;
• fournir une opinion technique sur le caractère raisonnable de la demande.

Avant d’avoir accès aux demandes, le personnel technique doit signer une entente de confidentialité et de non-divulgation.

Examen scientifique

Un comité de pairs experts examine chaque demande et lui attribue une note au mérite scientifique. Avant d’avoir accès aux demandes, les membres des comités de pairs experts doivent signer une entente de confidentialité et de non-divulgation et accepter de se conformer à la politique en matière de conflits d’intérêts.

La note accordée à une demande se base sur :

• l'excellence scientifique du projet pour lequel les ressources de calcul sont demandées;
• la faisabilité scientifique et technique du projet;
• la pertinence des ressources demandées par rapport aux objectifs du projet;
• la probabilité que les ressources demandées seront utilisées de façon efficiente.

Les demandes sont évaluées par les comités suivants : 

• Astronomie, astrophysique et cosmologie
• Bio-informatique
• Chimie, biochimie et biophysique
• Sciences informatiques et mathématiques
• Génie
• Sciences de la Terre et de l’environnement
• Sciences humaines et sociales
• Nanotechnologie, matériaux et matière condensée
• Neurosciences, imagerie médicale et physique médicale
• Physique des particules subatomiques, physique nucléaire et physique cosmique

Le tableau suivant montre les moyennes pour l’ensemble de la plateforme de calcul de haute performance; les montants incluent le coût en capital et le coût d’exploitation des ressources et services. Il ne s’agit pas de la valeur sur le marché. La valeur est calculée sur une base annuelle.

Tableau 9 : Valeur des allocations