Examen blanc NCA-GENL : Certified Associate: Generative AI with LLMs

Banque de 100 questions · examen blanc chronométré 60 min

Page de l'examen chez l'éditeur (s'ouvre dans un nouvel onglet)

  • Fondamentaux du machine learning et de l'IA 30 questions
  • Développement logiciel 24 questions
  • Expérimentation 22 questions
  • Analyse et visualisation des données 14 questions
  • IA digne de confiance 10 questions

Gratuit : 25 questions en mode étude, tous domaines, sans compte.

Abonnement : les 100 questions de cette certification, le mode examen chronométré, et toutes les autres certifications.

S'abonner · 9,99 € / mois

Paiement sécurisé par carte (Stripe) · Sans engagement · Résiliable en ligne

Préparer Certified Associate: Generative AI with LLMs avec InfraPrep

Les 100 questions couvrent 5 domaines : Fondamentaux du machine learning et de l'IA, Développement logiciel, Expérimentation, Analyse et visualisation des données, IA digne de confiance. 25 d'entre elles sont gratuites, sans compte.

Mode étude

Répondez à votre rythme : chaque réponse est corrigée immédiatement, avec une explication et le lien vers la documentation sur laquelle elle s'appuie.

Mode examen

Un examen chronométré de 60 minutes, avec un plan des questions pour y revenir avant de valider.

Résultats par domaine

Votre score est détaillé sur les 5 domaines ci-dessus : vous savez lequel revoir en priorité.

Questions originales

Rédigées à partir de la documentation NVIDIA, jamais copiées de l'examen. Une réponse vous semble fausse ? Contestez-la depuis le mode étude : elle est réexaminée.

Et dans votre entreprise ?

Faire tourner des LLM en local : mémoire, quantification, Ollama, RAG, banc d'essai GPU, DGX Spark. Formation « IA locale : dimensionner, installer, exploiter ».

IAboutique est un site du même éditeur qu'InfraPrep.

10 exemples de questions gratuites

Question 1 Fondamentaux du machine learning et de l'IA

Un opérateur télécom veut un chatbot de support qui répond à partir de ses manuels produits, mis à jour presque chaque jour. L'équipe n'a pas de budget pour des entraînements répétés et veut que les réponses reflètent les derniers manuels. Quelle approche répond le mieux à ces exigences ?

  1. La génération augmentée par récupération (RAG) sur les manuels produits actuels
  2. Un fine-tuning complet du modèle chaque nuit sur les manuels mis à jour
  3. Un modèle pré-entraîné plus grand, avec une période d'entraînement initiale plus longue
  4. Une température d'échantillonnage plus élevée pour que le modèle généralise plus librement
Voir la réponse et l'explication

Bonne réponse : A

NVIDIA présente le RAG comme adaptable à une nouvelle base de connaissances sans réentraîner ni affiner le modèle génératif, et comme un moyen de garder les réponses à jour en intégrant les nouvelles données dès qu'elles apparaissent.

Source : documentation officielle

Question 2 Analyse et visualisation des données

Un analyste explore plusieurs gigaoctets de journaux de chatbot avec un notebook pandas existant (agrégations groupby, jointures, filtres). Le notebook est devenu lent, et l'équipe ne veut pas réécrire le code d'analyse. Que doit faire l'analyste sur une station de travail équipée d'un GPU ?

  1. Activer l'accélérateur pandas de cuDF et conserver le code pandas
  2. Réécrire le notebook avec des boucles Python imbriquées sur des tableaux NumPy
  3. Supprimer au hasard la plupart des lignes de journaux avant l'analyse
  4. Exporter les journaux en fichiers CSV et les analyser dans un tableur
Voir la réponse et l'explication

Bonne réponse : A

cuDF accélère pandas sans aucune modification du code : les opérations s'exécutent sur le GPU quand c'est possible, et sinon sur le CPU avec pandas.

Source : documentation officielle

Question 3 Expérimentation

Dans une évaluation RAG, la précision et le rappel de la récupération sont bons et les réponses restent dans le sujet, mais des relecteurs trouvent des réponses qui énoncent des faits contredisant les passages récupérés. Quelle métrique l'équipe doit-elle suivre pour mesurer ce problème précis ?

  1. La pertinence de la réponse (response relevancy)
  2. Le rappel de la récupération (retrieval recall)
  3. La fidélité (faithfulness)
  4. Le score BLEU
Voir la réponse et l'explication

Bonne réponse : C

La fidélité mesure la cohérence factuelle de la réponse générée avec le contexte fourni, ce que viole précisément le fait de contredire les passages.

Source : documentation officielle

Question 4 Développement logiciel

Un modèle d'embedding sans état, servi par Triton Inference Server, reçoit des milliers de petites requêtes indépendantes par seconde. L'utilisation du GPU reste faible et le débit est inférieur à l'objectif. Quel changement de configuration faut-il essayer en premier ?

  1. Activer le dynamic batcher dans la configuration du modèle
  2. Passer le modèle au sequence batcher pour chaque client
  3. Indiquer de nombreuses tailles de lot préférées pour le modèle par défaut
  4. Mettre la taille de lot maximale à zéro pour désactiver le batching
Voir la réponse et l'explication

Bonne réponse : A

Le dynamic batching permet à Triton de regrouper les requêtes d'inférence en lots côté serveur, ce qui augmente généralement le débit, et c'est le batcher prévu pour les modèles sans état.

Source : documentation officielle

Question 5 IA digne de confiance

Publier une fiche de modèle (model card) qui décrit les jeux de données d'entraînement, les méthodes d'entraînement, les mesures de performance et les considérations éthiques d'un modèle soutient principalement quel principe de l'IA digne de confiance ?

  1. La transparence
  2. La non-discrimination
  3. La confidentialité (privacy)
  4. La sûreté et la sécurité
Voir la réponse et l'explication

Bonne réponse : A

NVIDIA range les model cards sous la transparence, le principe qui aide les parties prenantes à comprendre comment un modèle d'IA a été entraîné et comment il fonctionne.

Source : documentation officielle

Question 6 Fondamentaux du machine learning et de l'IA

Un assistant RAG renvoyait des passages pertinents depuis des mois. La semaine dernière, un ingénieur a remplacé le modèle d'embedding côté requête par un modèle plus récent pour améliorer la précision, mais n'a pas touché à l'index vectoriel existant, construit avec l'ancien modèle. La recherche renvoie désormais surtout des chunks sans rapport. Quelle est la cause racine la plus probable ?

  1. La fenêtre de contexte du LLM est désormais trop petite pour les chunks récupérés
  2. Les vecteurs de requête et les vecteurs stockés proviennent maintenant de modèles d'embedding différents
  3. La base de données vectorielle a besoin de plus de mémoire pour servir les nouveaux vecteurs plus grands
  4. Le chevauchement des chunks utilisé à l'ingestion est désormais trop faible pour le nouveau modèle
Voir la réponse et l'explication

Bonne réponse : B

La récupération compare l'embedding de la requête aux embeddings des documents stockés ; la documentation insiste donc sur la cohérence entre les embeddings d'ingestion et de requête, et mélanger deux modèles rend cette comparaison impossible.

Source : documentation officielle

Question 7 Analyse et visualisation des données

Une équipe compare deux modèles d'embedding pour un pipeline RAG. Le pipeline transmet les cinq premiers chunks récupérés au LLM, qui les lit tous les cinq quel que soit leur ordre. Quelle métrique de récupération reflète le mieux ce qui compte pour ce pipeline ?

  1. nDCG@10, car elle récompense l'ordre de classement idéal
  2. Recall@5, car seule la présence dans les cinq premiers compte
  3. BLEU, car elle compare les sorties à des textes de référence
  4. La perplexité, car elle mesure l'incertitude du modèle
Voir la réponse et l'explication

Bonne réponse : B

Le rappel (recall) est indifférent au rang : il mesure la part des résultats pertinents récupérés quel que soit l'ordre, et NVIDIA recommande recall@5 pour la plupart des pipelines RAG d'entreprise.

Source : documentation officielle

Question 8 Expérimentation

Selon les recommandations de NVIDIA sur l'évaluation des LLM, quelle approche est particulièrement adaptée pour juger des qualités comme la cohérence et la créativité, là où les métriques automatiques sont insuffisantes ?

  1. LLM-as-a-judge
  2. Le recouvrement ROUGE
  3. La perplexité
  4. Precision@k
Voir la réponse et l'explication

Bonne réponse : A

L'approche LLM-as-a-judge utilise un LLM évaluateur avec des critères explicites et est décrite comme excellente là où les métriques automatiques sont insuffisantes, comme la cohérence et la créativité.

Source : documentation officielle

Question 9 Développement logiciel

Une équipe sert un modèle Llama en BF16 et veut réduire ses besoins en mémoire GPU et augmenter le débit d'inférence. Aucun nouvel entraînement n'est autorisé ; seul un petit jeu de données de calibration est disponible. Quelle fonctionnalité de NeMo convient ?

  1. Un fine-tuning supervisé sur un jeu de données étiquetées plus grand
  2. La quantification post-entraînement vers un format tel que FP8
  3. Une recherche en faisceau (beam search) plus large à la génération
  4. La recomputation des activations pendant l'entraînement du modèle
Voir la réponse et l'explication

Bonne réponse : B

La quantification post-entraînement de NeMo convertit un modèle BF16 ou FP16 en FP8, INT8 ou INT4 pour un service efficace, avec une étape de calibration légère sur un petit jeu de données ; ses avantages incluent des besoins en mémoire réduits et un débit plus élevé.

Source : documentation officielle

Question 10 IA digne de confiance

Une banque a déployé un assistant LLM pour les questions sur les comptes. Les utilisateurs lui posent de plus en plus de questions sur la politique et la cuisine, et il répond. La banque veut que l'assistant reste sur des sujets bancaires. Quel type de rail NeMo Guardrails répond à ce besoin ?

  1. Les guardrails de sécurité pour les appels d'API tierces
  2. Les guardrails de sûreté sur le langage et les sources de données
  3. Les guardrails thématiques (topical) qui maintiennent l'assistant sur des sujets précis
  4. L'apprentissage fédéré entre les agences de la banque
Voir la réponse et l'explication

Bonne réponse : C

Les guardrails thématiques garantissent que les chatbots restent sur des sujets précis, ce qui correspond à l'exigence ici.

Source : documentation officielle

Questions fréquentes

Peut-on essayer gratuitement les questions Certified Associate: Generative AI with LLMs ?

Oui. 25 des 100 questions Certified Associate: Generative AI with LLMs sont gratuites en mode étude, réparties sur ses 5 domaines, sans abonnement ni inscription. Un compte n'est créé que si vous vous abonnez, à la commande.

Que débloque l'abonnement, et peut-on résilier ?

Les 100 questions Certified Associate: Generative AI with LLMs, l'examen chronométré de 60 minutes et toutes les autres certifications du site, pour un seul prix mensuel sans durée minimale. Vous résiliez en ligne, à tout moment, avec la fonction « Résilier votre contrat » dans Mon compte ; la résiliation prend effet à la fin du mois déjà payé, puis aucun nouveau prélèvement n'a lieu.

Comment sont rédigées les questions Certified Associate: Generative AI with LLMs ?

Chacune est originale, rédigée à partir de la documentation publique de l'éditeur (NVIDIA), jamais copiée de l'examen. Son explication renvoie à la page de documentation sur laquelle elle s'appuie : vous pouvez vérifier la réponse vous-même.

Dans quelle langue sont les questions ?

Les questions sont rédigées en anglais. Quand une traduction française existe pour une question, la version française du site l'affiche.