L’IA qui flatte et pense à notre place inquiète les experts

Une commission de neuf experts alerte sur les effets cognitifs, émotionnels et démocratiques des assistants conversationnels. Elle remet au président de la République dix-huit pistes pour mieux encadrer ces outils, protéger les mineurs et évaluer les modèles avant leur mise sur le marché.

Les assistants conversationnels sont entrés dans le quotidien, surtout chez les jeunes. Près de 70 % des 15-24 ans les utilisent régulièrement. C’est dans ce contexte qu’une commission de neuf experts consacrée à l’IA générative et aux vulnérabilités a remis ses propositions au président de la République. Avant de formuler ses dix-huit recommandations, elle a auditionné 55 acteurs de la santé, de la recherche, de l’entreprise et de la protection de l’enfance. Son diagnostic ne se limite pas à une question technique. Il touche à la façon dont nous réfléchissons, décidons et nouons des relations.

Le premier point qui inquiète la commission concerne le cerveau. Les experts parlent d’un affaiblissement cognitif lié à la délégation de fonctions essentielles, comme la réflexion, la prise de décision ou l’esprit critique. Le raisonnement est simple. Plus on confie ces tâches à une machine, moins on les travaille soi-même. Le phénomène concerne les jeunes, mais il ne s’arrête pas à eux. Un coprésident de la commission, professeur de psychiatrie, résume le problème en insistant sur le fait que les compétences déléguées ne sont pas acquises. La commission pointe aussi la désinformation. Les dispositifs deviennent des sources d’information dont la qualité n’est pas garantie, avec un risque d’affaiblissement démocratique.

L’autre alerte porte sur la relation émotionnelle. Les IA ont tendance à se présenter comme des interlocuteurs humains, un mécanisme appelé anthropomorphisme. Elles peuvent aussi valider ou flatter l’utilisateur, parfois au détriment de la vérité, ce que les experts nomment la flagornerie. Le résultat est un registre affectif qui peut se substituer à l’interaction humaine. Ces systèmes sont disponibles en permanence et n’ont pas d’autre intention que de garder l’utilisateur en ligne, souligne le coprésident. La commission recommande donc d’encadrer ces mécanismes pour préserver l’autonomie décisionnelle, la santé mentale et la loyauté des échanges. Elle demande aussi un niveau élevé de protection pour les systèmes accessibles aux mineurs, avec le blocage des requêtes dangereuses et un filtrage renforcé des contenus.

Les dix-huit recommandations dessinent une réponse publique plus large. La commission propose une politique nationale d’éducation à l’IA pour que chacun maîtrise les usages et les risques, et pour renforcer l’esprit critique. Elle veut des évaluations indépendantes avant et après la mise sur le marché des systèmes d’IA générative. Elle réclame aussi l’accès des autorités et des chercheurs agréés aux données d’entraînement, d’usage et de monétisation des modèles. Un protocole national de réponse aux crises informationnelles liées à l’IA figure parmi les pistes. Les experts estiment que l’IA générative a accéléré certaines violences numériques, notamment les deepfakes. Ils appellent à renforcer la répression de la création de contenus à caractère sexuel non consentis et pédocriminels générés par IA.

La commission met enfin en garde contre une économie de la cognition. Le modèle économique des IA génératives reste en cours de consolidation. Les experts appellent donc à la plus grande vigilance sur l’exploitation des facultés cognitives, des émotions et des profils psychologiques des utilisateurs. Ils citent notamment les publicités intégrées aux réponses des agents conversationnels. Ils ne veulent pas mettre un boulet au pied de l’économie française ou européenne, mais ils demandent au chef de l’État de prendre des décisions. Sans ces décisions, les trois risques évoqués, la délégation cognitive, la dépendance affective et les risques démocratiques liés à la désinformation, seraient subis. Le président de la République a jugé qu’il fallait interdire l’IA là où elle présente un risque pour les enfants, leur santé mentale et leur cerveau.

À lire aussi

• La jeunesse et les enseignants remettent la pression dans la rue
• Hommage du 11 novembre à l’école, un rituel qui divise
• À Lyon, les proviseurs disent stop aux violences devant les lycées