RAG ou fine-tuning : comment choisir pour un assistant documentaire en santé ?
Intelligence artificielle Dimitri Jorand Gérant de DEMETER SANTE
Le RAG recherche des documents ; le fine-tuning ajuste le modèle. Une grille pour choisir une architecture utile, maîtriser les accès et vérifier les réponses.
Le RAG et le fine-tuning sont deux façons différentes d’adapter un système d’IA : le premier ajoute des informations recherchées dans un corpus ; le second ajuste les paramètres du modèle à partir d’exemples. Pour un assistant chargé de retrouver des documents d’établissement, la décision commence par le besoin métier, les droits d’accès et la manière de vérifier les réponses.
Un projet peut sembler simple : « Nous voulons poser une question et retrouver la bonne procédure. » Pourtant, l’assistant doit distinguer les versions, citer le bon passage, tenir compte des habilitations et reconnaître les informations absentes. Choisir un modèle performant ne règle pas ces questions à lui seul.
RAG : rechercher puis générer une réponse contextualisée
Dans une architecture RAG, une question déclenche une recherche de passages dans un corpus. Les éléments retenus sont fournis au modèle, qui rédige une réponse dans ce contexte. La recherche peut associer plusieurs techniques ; un index vectoriel n’est pas la seule manière d’identifier un document pertinent.
Le travail de Lewis et ses coauteurs sur la génération augmentée par récupération présente cette combinaison entre modèle et mémoire documentaire. Il ne constitue pas une validation d’un assistant pour votre établissement. Le corpus, la recherche, les consignes, les interfaces et les tests locaux déterminent les résultats opérationnels.
Fine-tuning : adapter un comportement appris
Le fine-tuning modifie les paramètres d’un modèle pré-entraîné. Il peut être étudié lorsqu’un comportement doit être reproduit de manière régulière : format de sortie, classification, style ou tâche spécialisée. Les exemples d’entraînement doivent être de qualité et représentatifs du résultat attendu.
Un ajustement ne garantit pas que le modèle retiendra parfaitement une procédure, restituera sa source ou oubliera une ancienne version. Si votre besoin porte sur des règles qui changent souvent, demandez comment la connaissance sera mise à jour et contrôlée avant de choisir cette voie.
Une grille de choix par besoin, pas par effet de mode
| Besoin | Piste à étudier | Point de contrôle |
|---|---|---|
| Retrouver une procédure et sa version | Recherche documentaire, éventuellement RAG | Source, date, champ d’application |
| Produire un format stable | Consignes et schéma, puis fine-tuning si nécessaire | Conformité du résultat au format |
| Actualiser des informations fréquentes | Corpus versionné et mécanisme de recherche | Retrait des documents obsolètes |
| Classer des demandes métier | Règles, modèle spécialisé ou fine-tuning comparés | Erreurs par catégorie et cas rares |
Cette grille propose un point de départ, pas une prescription d’architecture. Comparez également une recherche classique ou un moteur documentaire bien organisé : une interface conversationnelle n’est pas toujours nécessaire pour résoudre le problème.
Préparer le corpus avant de connecter un modèle
Faites l’inventaire des documents autorisés, de leur propriétaire, de leur version et de leur périmètre. Une procédure validée, un brouillon et une note ancienne ne doivent pas être traités comme des sources équivalentes. Déterminez qui peut les ajouter, les modifier et les retirer de l’index.
- Conserver un lien vers le document source et sa version.
- Décrire le service ou le périmètre auquel le document s’applique.
- Identifier la validation et les dates pertinentes.
- Écarter les duplications et les versions obsolètes selon une règle connue.
- Prévoir le retrait des copies, index et caches associés lorsqu’un document est supprimé.
Découper un document en passages peut faire perdre une condition, une exception ou le titre d’un tableau. Les tests doivent donc examiner le contenu effectivement fourni au modèle, et pas seulement la présence du fichier dans le corpus.
Les habilitations doivent précéder la réponse
Un assistant ne doit pas rechercher un document réservé, puis espérer que le modèle refusera de le montrer. La sélection des sources doit respecter les droits de l’utilisateur. Examinez aussi les résultats de recherche, les citations, les journaux, les pièces jointes et les exports : chacun peut devenir un point de fuite.
La CNIL distingue les approches RAG, fine-tuning et les modes de déploiement. Le choix dépend notamment des usages et des données. Un serveur local, un cloud français ou une API ne dispense pas d’examiner les traitements, les accès, les contrats et les garanties nécessaires avec votre DPO et votre responsable sécurité.
Tester les réponses, les absences et les contradictions
Constituez un jeu de questions avec les utilisateurs métier. Pour chacune, indiquez la source attendue, les éléments indispensables et ce que l’assistant ne doit pas affirmer. Ajoutez des documents contradictoires, une question sans réponse dans le corpus et une demande provenant d’un utilisateur non habilité.
Le système doit pouvoir dire qu’il ne trouve pas de source suffisamment pertinente, demander une précision ou renvoyer vers un référent. Une citation apparente ne prouve pas que la réponse respecte le document. Vérifiez que le passage soutient réellement l’affirmation et que la version présentée est applicable.
Anticiper l’injection de consignes dans les documents
Un fichier récupéré peut contenir une phrase demandant d’ignorer les règles du système ou d’exporter des données. Le contenu documentaire doit être traité comme une donnée, pas comme une autorisation d’agir. Les recommandations de sécurité de l’ANSSI sur l’IA générative constituent un repère cyber pour concevoir et exploiter le système ; elles ne certifient pas la qualité métier des réponses.
Commencez par un assistant de consultation sans droits d’action étendus. Si des outils ou automatisations sont ajoutés, définissez leurs permissions, confirmations et traces. Pouvoir retrouver un document n’autorise pas automatiquement à modifier un dossier ou à transmettre une information.
Décider sur le coût complet et la maintenance
Comparez la préparation du corpus, les licences, l’hébergement, les appels au modèle, l’évaluation, le support et les mises à jour. Un prototype peut répondre vite tout en exigeant une maintenance importante. Vérifiez aussi la possibilité de changer de modèle, d’exporter le corpus et de revenir à une recherche standard.
Notre méthode de cadrage d’un projet IA en santé et notre trame de charte d’usage complètent cette décision. DEMETER SANTE accompagne le diagnostic, la formation et le cadrage de solutions sur mesure : le choix technique vient après la définition d’un usage utile et maîtrisable.
Questions fréquentes
- Quelle différence entre RAG et fine-tuning ?
- Le RAG fournit un contexte documentaire au moment de la demande. Le fine-tuning adapte les paramètres du modèle pendant une phase d’entraînement. Ils répondent à des besoins différents et peuvent être combinés.
- Le RAG empêche-t-il les hallucinations ?
- Non. Une recherche incomplète, un document erroné ou une réponse mal fondée restent possibles. Il faut tester les citations, l’absence de réponse lorsque les sources manquent et les cas contradictoires.
- Faut-il entraîner un modèle avec toutes les procédures de l’établissement ?
- Pas automatiquement. Définissez d’abord l’usage, la fréquence d’actualisation, les droits et la qualité attendue. Pour retrouver une procédure courante et sa version, un mécanisme de recherche peut être plus adapté qu’un entraînement destiné à mémoriser des faits.
- Un assistant documentaire peut-il donner des décisions cliniques ?
- Un assistant documentaire ne doit pas être transformé implicitement en outil de décision clinique. Un tel usage demande une analyse spécifique de sa finalité, de ses risques et des règles applicables, avec les professionnels compétents.