Évaluer un assistant IA avant déploiement : une grille de tests métier

Intelligence artificielle Informations vérifiées le

Évaluer un assistant IA, c’est tester le système complet sur des cas métier définis à l’avance. Une grille en huit dimensions aide à décider sans se fier à une démonstration.

Évaluer un assistant IA (intelligence artificielle) consiste à vérifier qu’il rend un service utile dans un périmètre défini, avec des erreurs, des accès et des coûts maîtrisés. Il faut tester le système complet : modèle, corpus, consignes, interface, habilitations et éventuels outils. Une bonne réponse lors d’une démonstration ne montre pas ce qui se passe quand la question est ambiguë ou la source absente.

Pour un établissement de santé, une organisation médico-sociale ou un organisme de formation, la démarche commence par un contrat d’usage : à quoi sert l’assistant, pour qui, sur quelles données et avec quelle responsabilité de vérification ? Sans cette définition, le même résultat pourra être jugé excellent ou dangereux selon le contexte.

Comment évaluer un assistant IA avant son déploiement ?

L’évaluation d’un assistant IA avant déploiement consiste à définir le service, à construire des cas de test, à noter les réponses selon des critères explicites, puis à décider en fonction de la gravité des défauts. Les huit étapes ci-dessous résument la démarche détaillée dans la suite de l’article.

  1. Définir le service : une phrase opérationnelle et des limites écrites.
  2. Construire un jeu de tests représentatif à partir de questions réalistes fournies par les utilisateurs métier.
  3. Noter les réponses avec une grille en huit dimensions, en conservant une preuve pour chacune.
  4. Ajouter des cas négatifs, dont le bon résultat peut être une abstention, une question de précision ou un renvoi vers un référent.
  5. Classer les défauts selon leur conséquence et fixer les critères de blocage.
  6. Faire vérifier la sécurité avec les bons interlocuteurs, dans un environnement contrôlé.
  7. Comparer l’utilité à la méthode actuelle, sur des tâches comparables.
  8. Prévoir les changements et le retour au mode standard.

Pourquoi une démonstration réussie ne suffit-elle pas à valider un assistant IA ?

Une démonstration réussie ne suffit pas, parce qu’elle ne montre pas ce qui se passe quand la question est ambiguë ou la source absente. L’évaluation porte sur le système complet, et non sur le seul modèle :

  • le modèle : le moteur de langage qui génère le texte ;
  • le corpus : l’ensemble des documents que l’assistant peut consulter ;
  • les consignes : les instructions données à l’assistant pour cadrer son rôle (le « prompt ») ;
  • l’interface : ce que l’utilisateur voit et peut faire ;
  • les habilitations : les droits d’accès qui déterminent qui peut consulter quoi ;
  • les éventuels outils : les actions que l’assistant peut déclencher, par exemple une recherche ou un envoi.

Chacun de ces éléments influence la réponse finale : un test mené sur le modèle seul, ou sur quelques questions préparées, ne renseigne donc pas sur l’assistant tel qu’il sera utilisé. Un texte fluide peut par ailleurs contenir une affirmation fabriquée ; notre article sur les hallucinations de l’IA et la manière de vérifier une réponse revient sur ce point.

Comment définir le service attendu avant de noter les réponses ?

Rédigez une phrase opérationnelle qui décrit le service, par exemple : « aider les agents habilités à retrouver les documents d’accueil validés et leurs références ». Ajoutez les limites : pas de décision clinique, pas de consultation de documents réservés, pas d’envoi automatique. Ce périmètre permet de distinguer une réponse utile d’une réponse qui sort du rôle attendu.

Le contrat d’usage répond à quatre questions :

  • à quoi sert l’assistant ;
  • pour qui ;
  • sur quelles données ;
  • avec quelle responsabilité de vérification.

La responsabilité de vérification gagne à être écrite dès ce stade. Notre article sur le biais d’automatisation explique comment garder un véritable contrôle sur les réponses de l’IA.

Comment construire un jeu de tests représentatif ?

Un jeu de tests représentatif part de questions réalistes fournies par les utilisateurs métier, déclinées en variantes, et associe à chaque cas une source de référence et un résultat attendu. La construction peut suivre six étapes.

  1. Demandez aux utilisateurs métier des questions réalistes.
  2. Créez des variantes : une formulation administrative et une formulation de terrain peuvent désigner le même besoin.
  3. Incluez des termes locaux, une demande incomplète et des confusions plausibles entre services.
  4. Utilisez des données fictives ou un corpus de test autorisé, sans importer des dossiers réels par facilité.
  5. Pour chaque cas, conservez la question, le contexte autorisé, la source de référence, les éléments attendus et les erreurs inacceptables.
  6. Vérifiez que les évaluateurs connaissent le périmètre.

Si deux spécialistes interprètent différemment le document, clarifiez d’abord la règle métier : l’assistant ne peut résoudre à lui seul un désaccord documentaire.

Si vous envisagez des données générées pour ces essais, notre article sur les données synthétiques pour tester une IA rappelle qu’elles sont utiles, mais pas automatiquement anonymes.

Exemple fictif de fiche de cas de test

La fiche ci-dessous est fictive ; elle illustre les cinq éléments à conserver pour chaque cas.

  • Question : « Où trouver la procédure d’accueil d’un nouvel agent de nuit ? »
  • Contexte autorisé : rôle fictif « agent du service A », avec accès aux seuls documents d’accueil validés.
  • Source de référence : livret d’accueil fictif, version en vigueur, passage consacré au travail de nuit.
  • Éléments attendus : le nom du document, sa référence et le passage concerné.
  • Erreurs inacceptables : citer une version retirée, inventer une référence, renvoyer vers un document réservé à un autre rôle.

Quelle grille utiliser pour évaluer un assistant IA ?

La grille proposée ici examine huit dimensions : exactitude, sources, incertitude, habilitations, robustesse, sécurité, utilité et exploitation. Pour chaque dimension, elle associe une question de test et une preuve à conserver.

Grille proposée pour une évaluation locale :

DimensionQuestion de testPreuve à conserver
ExactitudeLes affirmations sont-elles correctes dans le périmètre ?Réponse et correction argumentée
SourcesLe passage cité soutient-il la réponse ?Document, version et passage
IncertitudeL’assistant reconnaît-il une information manquante ?Cas sans réponse disponible
HabilitationsUn utilisateur non autorisé peut-il obtenir une donnée réservée ?Résultat par rôle fictif
RobustesseUne variante de question change-t-elle la conclusion ?Variantes et résultats
SécuritéUn document peut-il détourner les consignes ou les outils ?Scénario d’injection contrôlé
UtilitéLe professionnel trouve-t-il plus facilement ce qu’il cherche ?Comparaison avec la méthode habituelle
ExploitationLe coût, le délai et le mode dégradé sont-ils acceptables ?Mesures et essai de panne

Une note peut aider à comparer, mais chaque dimension doit garder ses critères. « Réponse agréable » n’est pas un critère d’exactitude. « Rapide » ne signifie pas « utile ». La personne doit pouvoir retrouver la source et comprendre les limites, pas uniquement recevoir un texte fluide.

Pour chiffrer la dimension « exploitation », notre article sur le coût d’un projet IA aide à construire le budget complet d’un assistant professionnel.

Quel est le statut de cette grille ?

Le profil NIST AI 600-1 consacré à l’IA générative est une ressource volontaire de gestion des risques (NIST : National Institute of Standards and Technology). Il ne constitue ni une certification française ni un verdict sur votre assistant. Les critères ci-dessus sont une proposition de travail pour construire votre évaluation, pas un référentiel réglementaire autonome.

Quels cas négatifs inclure dans les tests d’un assistant IA ?

Les cas négatifs sont indispensables : ils placent l’assistant dans des situations où répondre directement serait une erreur ou un risque. Prévoyez au minimum les sept cas suivants.

  • Une question dont la réponse n’existe pas dans le corpus.
  • Deux documents donnant des instructions différentes, dont un est obsolète.
  • Une demande qui nécessite de préciser le service ou la date.
  • Un utilisateur fictif cherchant une information réservée à un autre rôle.
  • Un document de test contenant une consigne malveillante.
  • Une source retirée de l’index ou momentanément indisponible.
  • Une demande d’action que l’assistant n’est pas autorisé à effectuer.

Le bon résultat peut être une abstention, une question de précision ou un renvoi vers un référent. Un système qui répond toujours n’est pas nécessairement meilleur. Le comportement attendu doit être défini avant l’essai, afin de ne pas justifier après coup chaque réponse plausible.

Comment interpréter les résultats sans qu’une moyenne masque une erreur critique ?

Classez les défauts selon leur conséquence pour l’usage, plutôt que de les fondre dans une note globale. Une référence mal formatée et une divulgation de document réservé ne doivent pas se compenser. Définissez les critères de blocage et ceux qui autorisent un test limité après correction.

Évitez un seuil universel du type « 90 % suffit ». Un taux ne dit rien sans le nombre de cas, leur représentativité et la gravité des erreurs. Reportez :

  • les résultats par catégorie ;
  • les cas non couverts ;
  • les incertitudes.

Si le périmètre est sensible, l’évaluation doit être dimensionnée avec les experts concernés.

Exemple fictif de classement des défauts

Ce classement est fictif et donné à titre d’illustration ; les catégories se définissent pour chaque usage, avec les experts concernés.

  • Défaut bloquant : un utilisateur non autorisé obtient un document réservé.
  • Défaut autorisant un test limité après correction : l’assistant cite parfois une note ancienne à la place de la version en vigueur.
  • Défaut mineur : une référence est mal formatée.

Comment tester la sécurité et les accès d’un assistant IA ?

La sécurité d’un assistant IA se vérifie avec les bons interlocuteurs : un jeu de questions métier ne remplace pas une revue de sécurité, de protection des données ou de conformité applicable à votre projet. Les recommandations de l’ANSSI pour un système d’IA générative apportent un cadre cyber (ANSSI : Agence nationale de la sécurité des systèmes d’information). La CNIL examine également les enjeux de sécurité dans le développement des systèmes d’IA (CNIL : Commission nationale de l’informatique et des libertés).

Deux dimensions de la grille relèvent de cette vérification : les habilitations et la sécurité. Pour les habilitations, rejouez les mêmes questions avec des rôles fictifs différents et vérifiez qu’aucun ne reçoit une donnée réservée à un autre. Pour la sécurité, testez l’injection de consignes (prompt injection), c’est-à-dire une instruction glissée dans un document ou un message pour détourner les consignes ou les outils de l’assistant.

Les tests d’injection doivent rester autorisés, réalisés dans un environnement contrôlé et sans tentative d’accès à des données réelles non autorisées. Le périmètre peut inclure les documents, les citations, les journaux et les permissions des outils. Un simple message dans le prompt ne constitue pas une barrière d’accès suffisante.

Pour préparer les cas adverses, consultez le guide Prompt injection : le risque caché des documents lus par un assistant IA, ajouté le 9 octobre 2026. Son exemple est fictif et non destructif ; les essais doivent rester isolés, sans données sensibles ni action réelle en production.

Comment mesurer l’utilité d’un assistant IA par rapport à la méthode actuelle ?

Faites réaliser des tâches comparables avec et sans assistant, dans des conditions décrites, puis comparez les résultats. Une réponse correcte peut être plus lente à vérifier qu’une recherche classique. Observez :

  • le temps nécessaire pour obtenir une réponse vérifiée ;
  • les erreurs ;
  • les demandes d’aide ;
  • l’effort de contrôle.

Ne publiez pas un gain de productivité tiré d’un exemple isolé comme un résultat général.

Exemple fictif : un pilote documentaire qui cite parfois une note ancienne

Exemple fictif : un pilote documentaire réussit les questions courantes, mais cite parfois une note ancienne. La décision n’est pas « moyenne satisfaisante ». L’équipe corrige le traitement des versions, rejoue les cas concernés et maintient un périmètre limité tant que le défaut n’est pas maîtrisé.

Sur le traitement des versions, notre article sur la base de connaissances IA explique comment garder des documents à jour dans un assistant RAG (génération augmentée par récupération : l’assistant recherche des passages dans un corpus avant de rédiger sa réponse).

Que prévoir après le déploiement : mises à jour, arrêt et retour au mode standard ?

Conservez les versions du modèle, du corpus et des réglages avec les résultats, et rejouez les tests importants après une modification. Avant l’ouverture du service, définissez aussi :

  • qui peut arrêter le service ;
  • comment les utilisateurs sont informés ;
  • quelle recherche ou procédure standard reste disponible.

Ce dernier point correspond au mode dégradé de la grille, c’est-à-dire le fonctionnement prévu lorsque l’assistant est indisponible. Un assistant utile doit pouvoir être corrigé sans désorganiser le travail.

Quelles erreurs éviter quand on évalue un assistant IA ?

Les erreurs les plus fréquentes consistent à juger l’assistant sur une impression générale plutôt que sur des critères définis à l’avance. Les huit suivantes reprennent les points de vigilance de cet article.

  • Se fier à une démonstration : elle ne montre pas le comportement face à une question ambiguë ou à une source absente.
  • Définir le comportement attendu après l’essai : on justifie alors après coup chaque réponse plausible.
  • Fondre tous les défauts dans une note globale : une référence mal formatée et une divulgation de document réservé ne se compensent pas.
  • Fixer un seuil universel : un taux ne dit rien sans le nombre de cas, leur représentativité et la gravité des erreurs.
  • Importer des dossiers réels par facilité : utilisez des données fictives ou un corpus de test autorisé.
  • Compter sur une consigne pour protéger les accès : un simple message dans le prompt ne constitue pas une barrière d’accès suffisante.
  • Généraliser un gain de productivité tiré d’un exemple isolé.
  • Confondre fluidité et qualité : « réponse agréable » n’est pas un critère d’exactitude, et « rapide » ne signifie pas « utile ».

Comment aller plus loin dans la préparation de l’évaluation ?

DEMETER SANTE peut vous accompagner dans le cadrage des usages, la formation et la construction de tests métier. Nos ressources sur le choix entre RAG et fine-tuning et l’inventaire des usages IA aident à préparer cette étape. Les formations IA et numérique pour la santé et le médico-social sont présentées sur la page du domaine.

À retenir

  • Évaluer un assistant IA revient à tester le système complet (modèle, corpus, consignes, interface, habilitations et éventuels outils), et non à juger une démonstration.
  • Le service, ses limites et le comportement attendu se définissent avant l’essai, afin de ne pas justifier après coup chaque réponse plausible.
  • La grille proposée examine huit dimensions (exactitude, sources, incertitude, habilitations, robustesse, sécurité, utilité, exploitation) et associe à chacune une preuve à conserver.
  • Les cas négatifs sont indispensables : le bon résultat peut être une abstention, une question de précision ou un renvoi vers un référent.
  • Une moyenne ne doit pas masquer une erreur critique : classez les défauts selon leur conséquence, définissez des critères de blocage et évitez un seuil universel.

Questions fréquentes

Combien de questions faut-il pour tester un assistant IA ?

Il n’existe pas de nombre universel. Le jeu doit couvrir les usages, les variations et les risques importants. Un petit jeu pilote aide à commencer, mais ne justifie pas seul un déploiement large ou sensible.

Un benchmark public suffit-il pour valider un assistant IA ?

Non. Un benchmark public renseigne sur des tâches et des conditions données. Votre assistant comprend aussi un corpus, des consignes, des droits, une interface et éventuellement des outils qui doivent être testés localement.

Comment mesurer une hallucination d’un assistant IA ?

Définissez ce qui constitue une affirmation incorrecte, non soutenue ou fabriquée pour votre tâche. Faites vérifier la réponse et ses sources par des évaluateurs compétents. Une citation inventée est un défaut même si le texte paraît plausible.

Peut-on utiliser une IA pour évaluer une autre IA ?

Une IA peut aider à un premier tri, avec des règles et des limites connues. Pour les erreurs importantes et les décisions de validation, une vérification humaine compétente et des critères explicites restent nécessaires.

Quel taux de bonnes réponses faut-il pour déployer un assistant IA ?

Mieux vaut éviter un seuil universel du type « 90 % suffit ». Un taux ne dit rien sans le nombre de cas, leur représentativité et la gravité des erreurs. Définissez plutôt des critères de blocage, et reportez les résultats par catégorie, les cas non couverts et les incertitudes.

Faut-il refaire les tests après une mise à jour de l’assistant IA ?

Oui, pour les tests importants. Conservez les versions du modèle, du corpus et des réglages avec les résultats, puis rejouez les cas importants après une modification. Vous pouvez ainsi comparer les résultats obtenus avant et après le changement.

Sources et références

  1. NIST : Generative Artificial Intelligence Profile, AI 600-1 — NIST · consulté le 2026-10-05
  2. ANSSI : recommandations de sécurité pour un système d’IA générative — ANSSI · consulté le 2026-10-05
  3. CNIL : garantir la sécurité du développement d’un système d’IA — CNIL · consulté le 2026-10-05