Pratiques d'IA interdites : la grille de lecture utile aux employeurs et établissements de santé

Intelligence artificielle et droit Publié le 10/02/2025 Dimitri Jorand

La Commission européenne a précisé le 4 février 2025 le périmètre des pratiques d'IA interdites. Quatre critères pour les repérer dans vos outils RH, de sécurité et d'accompagnement.

Le 4 février 2025, la Commission européenne a publié des lignes directrices destinées à clarifier ce que recouvrent les pratiques d'IA interdites par le règlement européen sur l'intelligence artificielle. Pour un employeur du secteur santé ou médico-social, CHU, EHPAD, GHT, association gestionnaire ou entreprise privée, ce texte n'a rien d'abstrait. Il touche directement des usages déjà envisagés ou testés : suivi du bien-être au travail, outils de recrutement, dispositifs de sécurité biométrique, chatbots d'accompagnement des publics fragiles.

Ces lignes directrices ne créent pas de nouvelle obligation. Elles interprètent des dispositions du règlement déjà applicables depuis le 2 février 2025 et aident à comprendre où se situent les lignes rouges. Elles ne sont pas contraignantes en tant que telles : seul le règlement, publié au Journal officiel de l'Union européenne, a force obligatoire. Mais elles offrent une grille de lecture utile pour distinguer un usage licite d'un usage qui basculerait dans l'interdiction.

Cet article propose une lecture pratique de cette grille, organisée autour de quatre critères, la finalité, le mécanisme, les publics concernés et le contexte, avec des exemples propres au secteur santé et médico-social. Il ne remplace pas une analyse juridique individuelle de vos outils, qui reste nécessaire au cas par cas.

Pourquoi ces lignes directrices, et ce qu'elles ne sont pas

Le règlement européen sur l'IA interdit, depuis le 2 février 2025, un nombre limité de pratiques jugées incompatibles avec les valeurs de l'Union et les droits fondamentaux. Ces interdictions sont formulées en des termes généraux, qui laissent place à interprétation dans des situations concrètes. Les lignes directrices publiées par la Commission européenne le 4 février 2025 visent à réduire cette incertitude, en détaillant les éléments constitutifs de chaque pratique interdite et en fournissant des exemples d'application.

Il faut cependant garder à l'esprit leur nature juridique. Une ligne directrice de la Commission n'est pas une loi et n'a pas de valeur contraignante autonome. Elle exprime une lecture de la Commission, utile pour anticiper l'application du texte, mais elle ne se substitue ni au règlement lui-même ni à une appréciation par une juridiction ou une autorité de contrôle compétente. Un employeur ne peut donc pas se contenter de cocher une case à partir de ces lignes directrices : il doit conserver une vigilance sur l'évolution de leur interprétation.

Premier critère : la finalité de l'outil

La première question à se poser porte sur l'objectif recherché par l'usage de l'outil d'IA. Un outil de reconnaissance vocale destiné à retranscrire un entretien médical n'a pas la même finalité qu'un outil qui analyserait le ton de voix d'un salarié pour en déduire son état émotionnel dans le cadre d'une évaluation professionnelle. La finalité affichée par l'éditeur ne suffit pas : c'est l'usage réel qui compte, y compris lorsqu'une fonctionnalité annexe détourne l'outil de son objet initial.

Dans un établissement de santé, un logiciel de planification des plannings qui intègre, sans que cela soit nécessaire à sa fonction première, un module de détection de fatigue ou de stress à partir de la voix ou du visage des agents mérite un examen approfondi avant tout déploiement.

Deuxième critère : le mécanisme mis en œuvre

Le règlement distingue les techniques qui relèvent d'une manipulation subliminale, imperceptible pour la personne concernée, de celles qui reposent sur une interaction transparente. Un chatbot qui explique clairement sa nature d'assistant automatisé et laisse la personne libre de ses choix n'active pas ce critère. Un dispositif conçu pour orienter insidieusement une décision, en exploitant des biais cognitifs à l'insu de la personne, s'en approche davantage.

Le mécanisme de notation sociale suit une logique proche : ce qui est visé, c'est l'évaluation ou la classification de personnes physiques sur la base de leur comportement social ou de caractéristiques personnelles, lorsque cette évaluation conduit à un traitement défavorable dans des contextes sans lien avec les données d'origine, ou disproportionné par rapport au comportement observé.

Le cas particulier de la reconnaissance des émotions au travail

Le règlement interdit, sauf exceptions strictement médicales ou de sécurité, les systèmes d'IA destinés à déduire les émotions d'une personne physique sur le lieu de travail. Un outil qui analyserait les expressions faciales d'agents en réunion pour en tirer des indicateurs de moral ou d'engagement relève potentiellement de cette interdiction, même présenté comme un outil de qualité de vie au travail. Une exception existe pour des raisons médicales ou de sécurité, par exemple la détection de la somnolence d'un conducteur, mais elle doit rester strictement circonscrite à cette finalité.

Troisième critère : les publics concernés

Certaines interdictions ne s'appliquent que lorsque l'outil vise ou affecte des publics identifiés comme vulnérables : personnes âgées, personnes en situation de handicap, personnes en difficulté économique ou sociale, enfants. Un dispositif d'IA qui exploiterait ces vulnérabilités pour orienter le comportement d'une personne d'une manière susceptible de lui causer un préjudice significatif entre dans le champ de l'interdiction, y compris lorsque l'intention initiale n'était pas malveillante.

Dans un EHPAD ou un SSIAD, un outil d'accompagnement conversationnel destiné aux résidents ou à leurs proches doit être examiné avec une attention particulière sur ce point : la vulnérabilité du public concerné rend certains usages plus sensibles que dans un contexte d'entreprise classique.

Quatrième critère : le contexte d'utilisation

Un même mécanisme technique peut être licite ou interdit selon le contexte dans lequel il est déployé. L'identification biométrique à distance en temps réel dans des espaces accessibles au public est en principe interdite, sauf exceptions très encadrées réservées à des finalités répressives précisément définies. Un dispositif de contrôle d'accès biométrique à l'entrée d'un service sécurisé d'un établissement de santé, avec le consentement des personnes concernées, relève d'un cadre juridique distinct de celui de la reconnaissance biométrique à distance en population générale.

Exemples sectoriels concrets

Un centre hospitalier envisage d'équiper ses espaces de repos d'un capteur analysant l'expression faciale des soignants pour mesurer leur niveau de fatigue et ajuster les plannings. Même avec une intention de prévention des risques psychosociaux, cet usage se rapproche fortement de la reconnaissance des émotions au travail interdite, sauf à démontrer une finalité médicale ou de sécurité strictement définie et proportionnée. Une association gestionnaire de FAM qui développe un outil d'orientation des familles en situation de précarité doit, de son côté, vérifier que l'outil ne module pas ses recommandations en exploitant la vulnérabilité économique des personnes, ce qui constituerait une pratique interdite indépendamment de la qualité technique de l'outil.

Objections fréquentes

« Notre outil de bien-être au travail n'a pas d'intention de surveillance. » L'intention affichée ne suffit pas à écarter le risque : c'est le mécanisme effectif de l'outil, sa capacité à déduire des émotions et l'usage qui en est fait qui déterminent son statut au regard du règlement.

« Les lignes directrices de la Commission nous couvrent juridiquement. » La situation est différente. Elles éclairent l'interprétation du règlement mais ne constituent pas une autorisation ni une garantie de conformité. Une vérification propre à votre outil et à votre contexte reste nécessaire, le cas échéant avec un accompagnement juridique dédié.

Le processus à suivre pour qualifier un usage sensible

1. Décrire l'usage réel. Formuler précisément ce que fait l'outil, sans se limiter à la présentation commerciale du fournisseur.
2. Identifier la finalité poursuivie. Distinguer la finalité affichée de la finalité effective, en particulier lorsque l'outil comporte des fonctionnalités annexes.
3. Examiner le mécanisme technique. Déterminer si l'outil déduit des émotions, note des comportements ou influence des décisions de manière transparente ou non.
4. Identifier les publics concernés. Vérifier si l'outil s'adresse ou s'applique à des personnes en situation de vulnérabilité particulière.
5. Situer le contexte d'utilisation. Comparer le contexte réel au périmètre des exceptions prévues, par exemple médicales ou de sécurité.
6. Documenter la conclusion. Conserver une trace écrite de l'analyse, datée, et la faire valider par la gouvernance interne compétente.

• La finalité réelle de chaque outil sensible a été formulée par écrit.
• Aucun outil ne déduit les émotions des agents sur le lieu de travail hors exception médicale ou de sécurité strictement justifiée.
• Aucun outil ne procède à une notation sociale de personnes physiques.
• Les publics vulnérables concernés par un outil ont été identifiés et pris en compte dans l'analyse.
• Le contexte d'usage biométrique a été vérifié au regard des exceptions prévues par le règlement.
• Une fiche de vérification est conservée pour chaque outil sensible identifié.

Ce que votre organisation peut faire maintenant

La priorité immédiate consiste à passer en revue les outils déjà en place ou en projet qui touchent à l'évaluation des personnes, à la sécurité ou à l'accompagnement de publics fragiles, en appliquant les quatre critères présentés dans cet article. Cette revue doit associer la direction des ressources humaines, la DSI et, lorsqu'elle existe, la fonction qualité ou conformité. Pour les usages qui suscitent un doute persistant après cette première analyse, un avis juridique spécialisé reste recommandé avant tout déploiement.

Pour situer ces lignes rouges dans une démarche plus large, plusieurs repères complémentaires sont utiles : la data Act : ce que l'accès aux données des objets connectés change pour les organisations, la mise en place d'un certification HAS : ce que le 6e cycle change dans le pilotage de la qualité qui permet de repérer très tôt un projet susceptible de toucher une pratique interdite, et la cI-SIS : ce que la nouvelle doctrine change pour l'interopérabilité des projets de santé qui désigne clairement qui tranche en cas de doute.

Conclusion

Les lignes directrices de la Commission européenne du 4 février 2025 offrent une grille de lecture précieuse pour distinguer les usages licites des pratiques interdites, sans pour autant se substituer à une analyse juridique individuelle. Pour un employeur du secteur santé et médico-social, l'enjeu principal reste la vigilance sur les outils qui touchent à l'évaluation des personnes, en particulier lorsqu'ils concernent des publics vulnérables ou le lieu de travail. Cette vigilance s'inscrit dans la continuité du plan d'action engagé depuis l'entrée en application des premières règles de l'AI Act. Pour approfondir la structuration de ce plan, consultez notre article sur les premières règles applicables de l'AI Act et les actions à engager ainsi que notre analyse de la cI-SIS : ce que la nouvelle doctrine change pour l'interopérabilité des projets de santé.

Le site euaiact.fr propose, dans un décryptage édité par DEMETER, une présentation détaillée des pratiques interdites ainsi qu'un calendrier de l'AI Act permettant de situer cette échéance parmi les suivantes. Ces pages, non officielles, complètent la lecture du règlement et des lignes directrices de la Commission européenne, disponibles sur son site.

Pour aller plus loin sur la mise en œuvre pratique de ces vérifications, DEMETER propose des ressources complémentaires sur certification HAS : ce que le 6e cycle change dans le pilotage de la qualité, sur IA dans l'éducation et la formation : les réflexes CNIL pour protéger les données, sur santé mentale 2026 : ce que l'accélération gouvernementale implique pour les acteurs et sur IA en santé en France : ce que révèle le premier état des lieux national.

Questions fréquentes

Les lignes directrices de la Commission européenne sont-elles obligatoires ?

Non, elles ne sont pas contraignantes en elles-mêmes. Elles interprètent le règlement européen sur l'IA afin d'en faciliter l'application, mais seul le texte du règlement a force obligatoire. Une organisation doit donc les utiliser comme un outil d'aide à la décision, pas comme une garantie juridique.

Un outil de suivi du bien-être au travail est-il automatiquement interdit ?

Non, cela dépend de son mécanisme réel. Un outil qui se limite à des enquêtes déclaratives n'est pas concerné. Un outil qui déduit les émotions des agents à partir de leur voix ou de leur visage se rapproche en revanche de la pratique interdite de reconnaissance des émotions au travail, sauf exception médicale ou de sécurité strictement justifiée.

Qu'est-ce que la notation sociale interdite par le règlement ?

Il s'agit de l'évaluation ou de la classification de personnes physiques par des autorités publiques ou en leur nom, sur la base de leur comportement social ou de caractéristiques personnelles, lorsque cette évaluation conduit à un traitement défavorable injustifié ou disproportionné dans un contexte différent de celui où les données ont été collectées.

Un contrôle d'accès biométrique dans un établissement de santé est-il concerné ?

Cela dépend du contexte précis. L'interdiction vise principalement l'identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives. Un contrôle d'accès biométrique consenti à une zone sécurisée relève d'un cadre différent, mais mérite une vérification au cas par cas.

Qui est responsable si un outil acheté à un éditeur relève d'une pratique interdite ?

L'employeur, en tant que déployeur, reste responsable de l'usage concret qu'il fait de l'outil dans son organisation. La conformité déclarée par le fournisseur ne dispense pas de vérifier les conditions réelles d'utilisation.

Comment documenter cette analyse dans son organisation ?

Il est recommandé de formaliser une fiche de vérification par outil sensible, reprenant la finalité, le mécanisme, les publics concernés et le contexte d'utilisation, puis de la faire valider par la gouvernance interne compétente et de la conserver comme preuve de diligence.