Pourquoi les IA génératives hallucinent-elles ?

Source: The Conversation – in French – By Rossana De Angelis, Maîtresse de conférences en sciences du langage, Université Paris-Est Créteil Val de Marne (UPEC)

ChatGPT, comme les autres IA génératives de texte, invente une partie de ses réponses. Bertelli/Pexels, CC BY

Vous en avez peut-être déjà fait l’expérience : les intelligences artificielles, ou IA, génératives de texte inventent régulièrement des éléments de réponses, d’autant plus difficiles à détecter qu’ils s’intègrent à un ensemble qui paraît cohérent et se mêlent à des faits avérés. C’est en se penchant sur la manière dont ces IA recherchent des informations, sur leur façon d’analyser les textes « crawlés », ou scannés, que l’on peut comprendre pourquoi elles se trompent aussi régulièrement.

Cela fait déjà plus de trois ans que nous pouvons utiliser des intelligences artificielles (IA) génératives de textes et d’images. ChatGPT a été lancé en novembre 2022 dans une version gratuite, ouvrant la porte à un accès massif aux IA génératives, mais il n’avait pas encore accès au Web comme source d’informations. C’est à partir de janvier 2023 qu’il est devenu possible de poser toutes sortes de questions, soumettre des « prompts » ou « invites », car désormais, une large part de ce qui se trouve sur le Net peut être exploré par la machine.

Et c’est à partir de cette « présomption d’omniscience », autrement dit la capacité que nous attribuons à la machine de connaître toute chose, que nous avons commencé à faire l’expérience des « hallucinations » de l’IA : terme dérivant du latin hallucinatio, signifiant « méprise », construit à partir du verbe hallucinari qui veut dire « se tromper », « divaguer », mais aussi « tromper l’interlocuteur ».

J’ai été moi-même confrontée aux hallucinations de ChatGPT quand, à l’occasion de la préparation d’une conférence scientifique, j’ai demandé sur l’interface d’interaction : « Qui suis-je ? », pour tester les limites de l’interaction humain-machine dans le cadre d’un dialogue. Cette simple question a généré une expérience linguistique qui m’a permis de mieux comprendre comment naissent certaines hallucinations.

Cette expérience, qui a donné lieu à un article scientifique, me permet d’ébaucher de premières réponses aux questions : quand et pourquoi les IA génératives rédactionnelles se trompent-elles ?

Ce qui n’existe pas sur le Net n’existe pas pour l’IA générative

La présomption d’omniscience tombe si nous prenons en compte les critères qui permettent à une information d’être traitée par la machine. Premièrement, ces informations doivent être enregistrées sous forme de données numériques. Deuxièmement, elles doivent être disponibles à tout moment, car les machines fonctionnent seulement lorsqu’elles sont connectées aux serveurs qui assurent l’accès aux données porteuses d’informations. Troisièmement, ces informations doivent êtes repérables dans la masse considérable d’informations disponibles.

Les deux premières raisons permettent d’expliquer certains types d’hallucinations, car ce qui n’existe pas sur le Net n’existe pas pour les machines. Lorsque j’ai demandé à une IA générative rédactionnelle de répondre à la question : « Qui est ma grand-mère », en sachant que la grand-mère en question n’a pas de compte Instagram ni de blog ou de page institutionnelle, elle me répond : « Je ne peux pas savoir qui est ta grand-mère sans informations de ta part. Si tu me donnes son nom, le contexte, ou ce que tu veux savoir à son sujet, je pourrai t’aider au mieux. » J’ai alors donné « un nom », une étiquette valable pour que l’information soit repérée, ce qui a poussé la machine à proposer des descriptions incorrectes pour ne pas rester sans réponse.

La question du référencement

La troisième raison permet d’expliquer d’autres types d’hallucinations, car ce qui existe sur le Net mais n’est pas visible par les machines ne peut pas être immédiatement repéré par les IA génératives. Cette dimension est propre à l’écriture numérique : elle est liée au référencement des documents numériques à travers des étiquettes (les « tags ») qui indiquent ce qu’ils contiennent et ce à quoi ils renvoient, car les documents sont liés entre eux en formant un réseau de documents (le « Web »), les uns plus ou moins visibles par rapport aux autres. Il y a deux niveaux de référencement : le premier consistant à placer des mots clés et des liens utiles à la mise en avant des textes, et le deuxième consistant à acheter du trafic et des liens pour augmenter la visibilité des textes sur le Web.

Lorsque j’ai demandé à ChatGPT de me dire « Qui est Rossana De Angelis ? », la machine m’a proposé par erreur une définition de moi en tant qu’artiste, en raison de la présence sur le Net d’une artiste dont l’identité correspond partiellement à mon nom, avant de m’identifier comme chercheuse. Ceci s’explique par le fait que les documents dont se compose un site de vente d’objets d’art, où se trouvait la description de l’artiste en question, sont mieux référencés (et donc plus « visibles ») que les documents d’un site institutionnel, en raison de leurs enjeux commerciaux.

Les algorithmes qui dirigent les machines vers les données suivent les directions les plus visibles : les documents les mieux référencés, les mieux étiquetés sortent du lot en premier. Et si les documents les mieux référencés sont ceux qui ont une valeur commerciale, il en découle que les données les plus visibles sont celles liées à des enjeux commerciaux. Et cela, indépendamment de la qualité et de la véracité des contenus.

Les LLM, un fonctionnement complexe

Les trois critères de présence, de disponibilité et de visibilité n’expliquent pas toutes les hallucinations possibles, loin de là. La plus grande difficulté consiste à saisir la complexité propre au fonctionnement des IA génératives de textes et d’images qui utilisent des grands modèles de langage (LLM) pour traiter et générer du contenu.

Par exemple, pour la reconnaissance des images, les premiers traitements capturent des aspects fondamentaux, tels que les contrastes, les bords, les lignes, leurs orientations, etc. Les traitements qui suivent combinent ces données avec d’autres données concernant, par exemple, les textures ou les matières. Enfin, à partir de cet ensemble, les traitements ultérieurs permettent de construire des représentations numériques d’images, comme des objets ou des visages, en enregistrant en tant que « valeurs » les différences et les similarités entre les données. Le traitement des données fonctionne ainsi par couches superposées (deep learning) : plus cette superposition est profonde, plus la capacité d’analyse augmente.

Les IA organisent leurs données dans un « espace vectoriel » : un ensemble d’objets qui occupent chacun un lieu précis. Prenons le jeu de ficelles : c’est comme multiplier à souhait le nombre de fils, leur longueur, leur épaisseur sans changer les règles du jeu, et ensuite pouvoir identifier un nœud. Dans cet espace, la position de chaque objet est déterminée par les relations qu’il entretient avec les autres. L’ensemble de ces relations détermine ce qu’on appelle leur « valeur vectorielle » : une combinaison de nombres qui définit un lieu dans un espace. Ces valeurs permettent d’identifier les données en tant que positions tout comme les nœuds d’un jeu de ficelles.

Les valeurs vectorielles permettent d’identifier des régularités : les données proches (par exemple, les noms de fruits : fraises, cerises, abricots, etc.) portent des informations similaires (par exemple, ils peuvent être cueillis, coupés, cuisinés, mangés, etc.) Elles peuvent donc être repérées par leur proximité (par exemple, fruits similaires, actions similaires).

Pour repérer des données, et donc pour demander des informations, nous devons soumettre une demande (un « prompt » ou « invite ») à la machine qui va chercher ces régularités dans ces espaces vectoriels à l’aide de mots (par exemple, « recette du clafoutis aux cerises »). C’est la raison pour laquelle une IA générative rédactionnelle peut nous donner la bonne recette du « clafoutis aux cerises » d’abord en identifiant, puis en reproduisant la régularité des données à l’aide des mots « clafoutis, cerises, recette » (mots similaires, contextes similaires, actions similaires). La relation que les données entretiennent dans ces espaces dirige la reproduction plus ou moins correcte des informations, en complétant automatiquement des séquences de mots dans l’espace d’interaction.

De l’importance du contexte

Ce qui permet l’usage des mots réside dans leur valeur. C’est un principe qui se trouve à la base de la linguistique générale. Plus précisément, la valeur d’un mot est une valeur différentielle : au sein d’une langue, le mot « chien » se différencie du mot « chat », comme le mot « bleu » du mot « vert », et ils veulent dire ce qu’ils veulent dire justement en raison de cette différence. Or, cette valeur se définit par rapport aux autres mots présents dans le texte (contexte sémantique : ce qu’on dit avec les mots) et par rapport au contexte dans lequel le texte est intégré (contexte pragmatique : ce qu’on fait avec les mots).

Prenons un exemple. Tout mot écrit sur un panneau routier fonctionne seulement dans un contexte précis (une route) et dans une pratique précise (conduire). La plupart des textes que nous produisons ou interprétons au quotidien fonctionnent de cette manière.

Comment une machine peut-elle extraire le contexte d’un texte ? Elle le fait justement à travers le processus évoqué plus haut : en définissant la valeur des mots en fonction de leurs positions vectorielles. De cette manière, la machine reproduit la valeur sémantique des mots. Mais, n’ayant pas toujours accès au contexte, la valeur pragmatique n’est pas toujours définissable. En reprenant l’exemple du panneau routier, « tourner à droite » ou « tourner à gauche » ne veut rien dire sans contexte. Dans ces conditions, si on demande à une IA générative s’il faut « tourner à droite ou à gauche », elle sera incapable de répondre correctement.

Autrement dit, quand la valeur pragmatique ne peut pas être définie, la machine peut se tromper. Il se produit alors ce qu’on peut appeler une « rupture pragmatique » : les contextes et les pratiques d’usages des mots étant inaccessibles, leur valeur pragmatique devient insaisissable.

Pourquoi est-il difficile de comprendre le fonctionnement des IA génératives ?

Ce qui empêche de comprendre le fonctionnement de l’IA générative est sa complexité. Par exemple, une difficulté consiste à imaginer que les données occupent des lieux dans des espaces qui ne sont pas bidimensionnels, mais vectoriels à n dimensions, car nous ne savons pas envisager et imaginer des espaces de plus de quatre dimensions (largeur, hauteur, profondeur, temps). Comme si on devait augmenter de n fois le nombre de fils du jeu de ficelles.

C’est un changement d’échelle démesuré dont la complexité nous dépasse, ce qui nous oblige soit à réduire la complexité du phénomène, soit à nous rendre à son incompréhensibilité. Ceci explique l’attitude de divinisation ou diabolisation que nous adoptons souvent face aux IA génératives.

Je me suis demandé plusieurs fois si, oui ou non, les IA génératives rédactionnelles pourront un jour remplacer l’humain dans les pratiques d’écriture. Ma position reste la même : non, l’IA ne va pas faire disparaître toutes nos pratiques d’écriture, car de manière évidente tout un ensemble d’écrits fortement situés, c’est-à-dire liés à un contexte, comme les échanges impromptus, les écritures sauvages ou les pancartes improvisées, ne peuvent pas être (re)produites dans un environnement numérique. Il y a donc des pans entiers d’expression écrite auxquelles les IA génératives rédactionnelles n’ont pas (encore) accès.

Rossana De Angelis ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d’une organisation qui pourrait tirer profit de cet article, et n’a déclaré aucune autre affiliation que son organisme de recherche.

– ref. Pourquoi les IA génératives hallucinent-elles ? – https://theconversation.com/pourquoi-les-ia-generatives-hallucinent-elles-270493