Procedures

Access to Resources

Any researcher eligible for funding from a National Research Council (NSERC, SSHRC, MRC) can become a member of Calcul Québec and use our advanced computing resources.

Typically, regular professors are eligible for CQ membership and register for a PI account while postdoctoral researchers or graduate students must be sponsored by a member to obtain a user account. Researchers with the status of associate professor can become members if the project for which the resources are used is eligible for funding from CFI or other funding councils. Researchers from the CEGEP network who are eligible for funding from a National Research Council can also become members.

Creating Accounts for a Reasercher and His/Her Sponsored Users

Step 1: Creating  a Compute Canada PI account

The Principal Investigator (PI) must first register on the Compute Canada database (CCDB). Once the registration is confirmed, the PI will receive a CCRI (Compute Canada Role Identifier) code in the format “abc-123-01” and will become the sponsor of his future users group.To complete this step, go to the CCDB website and click “Register”. Please note that the registration process requires human intervention from the support team and is therefore not instantaneous.

Step 2: Creating A Sponsored User Compute Canada Account

The regular (sponsored) user then registers using the same form fond on the CCDB landing page. This operation requires the sponsor’s CCRI obtained in step 1. Here again, human intervention is required on our side, and that may cause a delay.

Step 3: Creating A Calcul Québec Account

Once users (PI or sponsored) have a Compute Canada account,  they can request an account with a regional partner or consortium (Calcul Québec in the present case). On the CCDB website, in the “My Account” menu, select “Apply for a consortium Account”.

 

Accounts on Calcul Québec Servers

Once your Calcul Québec account has been created, you will be able to request a server account on any Calcul Québec server through the Calcul Québec Portal Calcul Québec Portal.

Note that answering a server account request does require human intervention and is therefore not instant. Please wait at least 24 hours before contacting us regarding a problem.
For more detailed information regarding our compute servers, see the “Table summarizing properties of Calcul Québec servers” on the Calcul Québec Wiki. Should you need help understanding which server would best suit your needs, write us at support@calculquebec.ca.

Opening a Compute Canada Cloud Account

To create a Compute Canada Cloud Account, you have to request an account through the Compute Canada website. Click here.

Rapid Access Service Usage Limits

Calcul Québec members and their sponsored users are automatically granted access to the Rapid Access Service on any compute server without any further justification. If your computation needs are modest, this service may be enough for you. Here are the yearly usage limits for the Rapid Access Service:

For pre-2016 systems:

Server Compute Storage
Guillimin 30 core-years
1 GPU-year
1 To
5 To on demand
Briarée 30 core-years 1 To
MP2
(Mammouth parallèle)
80 core-years 1 To
5 To on demand
Hades
Helios
2 GPU-year 1 To

Our servers Colosse, Cottos and MS2(Mammouth série) do not have usage limits and jobs execute according to a fair share principle.

For new national systems :

Server Compute Storage
Cedar(GP2) and Graham(GP3)
(available May or June 2017)
50 core-years
10 GPU-years
Project : 10 To
scratch : 100 To

 

Rapid Access limits for the CC Cloud :

Test Cloud
(in function)
Compute Cloud
(online April 2017)
Persistant Cloud
(online April 2017)
instances (VMs) 2 20 5
Public  IP addresses 1 1 1
RAM 15Go 300Go 45Go
virtual processors 4 80 10
storage total 40Go 1000Go 1000Go
volumes 2 2 5
snapshots 2 2 5
 Lifespan (default) 1 semaine 2 semaines 1 an

 

Ressource allocation competitions

If the Rapid Access Service is not enough for your research team’s needs, you should ask for a ressource allocation for the coming year. Those requests are made to Compute Canada once a year, within the Resource Allocation Competitions (RAC). There are two such competitions : the Research Platforms and Portals (RPP) Competition, and the Resources for Research Groups (RRG) Competition.
Starting in 2017, the reference year for the RAC will be from April 1st to April 1st of the following year. Exceptionally, the 2016 allocations that were supposed to end on January 1st 2017 will be extended to mid-June 2017.

 

Resources for Research Groups (RRG) Competition

Pour mieux évaluer vos besoins, vous pouvez consulter le temps utilisé par votre groupe sur la base de données de Calcul Canada (CCDB). Notez également que vous pouvez avoir accès à n’importe quel serveur au Canada. Vous pouvez consulter la liste des ressources disponibles pour 2017 sur le site web de Calcul Canada.

Votre demande doit s’inscrire dans une de ces deux catégories :

  1. Catégorie régulière, pour les quantités de ressources suivantes :
    • capacité de calcul : de 50 à 1999 cœurs-années
    • espace de stockage : de 10 à 999 To
    • processeur graphique : de 10 à 199 cœurs-années (GPU years)
    • calcul infonuagique : de 80 à 499 processeurs virtuels (VCPUs)
    • instance persistante infonuagique : de 10 à 99  processeurs virtuels (VCPUs)
  2. Catégorie majeure,  dans le cas où la quantité pour un type de ressource dépasse celle indiquée pour la catégorie régulière.

 

Calcul Canada évalue les demandes soumises dans le cadre du concours annuel de Ressources pour les groupes de recherche (CRGR) selon leur faisabilité technique et leur mérite scientifique. Le personnel de Calcul Canada procède à un examen technique pour:

  • Veiller à ce que les chercheurs principaux soumettent une demande pour le bon système et assurer la disponibilité des ressources logicielles convoitées;
  • Garantir l’efficacité du code (et son extensibilité);
  • Identifier les groupes qui pourraient avoir besoin d’aide avec l’optimisation des codes et des processus;
  • Relever les disparités entre la demande soumise en ligne et la description complète du projet;
  • S’exprimer sur le caractère raisonnable de la demande d’un point de vue technique.

Au terme de l’examen technique, la demande est soumise à l’examen scientifique des comités d’examen d’experts de Calcul Canada. Ces comités se composent de chercheurs issus de différents domaines et formés chaque année en fonction du nombre de candidatures dans un champ donné. Dans le cas des demandes de catégorie régulière, deux chercheurs proches du domaine du requérant évaluent le mérite de chaque demande.

Dans le cas des demandes majeures, au moins trois experts dont un peut être un expert externe ou international évaluent le mérite scientifique de chaque demande. Ce type de demande pourrait également être l’objet de discussions en personne lors d’une réunion des présidents des comités d’allocation de ressources pour toutes les disciplines.

La décision finale quant à l’allocation des ressources repose sur le mérite scientifique de la demande et la disponibilité des ressources.

Rendez-vous sur le site web de Calcul Canada pour consulter toute la documentation du concours Ressources pour les groupes de recherche (CRGR).

Research Platforms and Portals (RPP) Competition

Nous encourageons les chercheurs ayant besoin de ressources à participer au Concours des plateformes et portails de recherche si leur demande entre dans l’une des catégories suivantes:

  • Ressources demandées par un grand groupe d’utilisateurs, qui les redistribuera ensuite à des personnes ou à de petits groupes. Mise en place d’une plateforme publique utilisant les services informatiques ou de stockage de Calcul Canada.
  • Groupes participant à des ententes internationales pour la fourniture pluriannuelle de solutions informatiques ou de stockage à partir du Canada.
  • Bénéficiaires du Fonds des initiatives scientifiques majeures de la Fondation canadienne pour l’innovation.
  • Groupes offrant la consultation de données partagées au moyen de l’interface d’un tiers (et non celle de Calcul Canada).

Les demandes pour ce concours se font en deux étapes. Les chercheurs intéressés doivent d’abord soumettre un lettre d’intentions. Les chercheurs principaux des projets répondant aux critères du concours seront alors invités à soumettre une demande détaillée. Attention : les dates limites du CPPR sont plus tôt dans l’année que celle du concours Ressources pour les groupes de recherche (CRGR). Les projets qui ne répondraient pas aux critères de ce concours peuvent ainsi être invités à déposer une demande au CRGR. Les détails du CPPR se trouvent également sur le site web de Calcul Canada.

Important Dates for the 2017 Competitions

 

Processus Début Date limite
Dépôt des lettres d’intention pour le CPPR début septembre 2016-09-22
Demande accélérée (sur invitation seulement) début octobre 2016-11-09
Demande intégrale aux CRGR et CPPR début octobre 2016-11-24
Annonces et mise en service des allocations début mars 2017 mi-avril 2017

 

Si vous avez un besoin urgent de ressources en cours d’année, veuillez communiquer avec nous.

Note on job priorities and usage limits

Calcul Québec uses a scheduling system that implements a fair share principle. Thus, jobs are not executed in the order they are submitted; instead the scheduler (Maui or Moab) orders the jobs according to the share of the machine for each group (as determined by the annual allocation) and the group’s resource utilization over the last month. The scheduler also takes into account the available resources (mainly in terms of free nodes and memory) as well as the time spent queued, so that jobs don’t wait indefinitely to be executed. The annual allocation thus actually corresponds to an execution priority.

Please note that as these allocations simply reflect the execution priority, it is always possible to submit jobs that exceed this limit. However, Calcul Québec reserves the right to limit server access if a group consumes more than double its allocation. This policy would normally only be applied in the event of exceptionally heavy use of the systems.