Source: The Conversation – in French – By Ambuj Tewari, Professor of Statistics, University of Michigan
Les instituts de sondage explorent de plus en plus l’idée de remplacer une partie de leurs répondants par des intelligences artificielles capables de simuler des profils humains. Moins coûteuse et plus rapide, cette approche soulève toutefois une question fondamentale : une opinion générée par un modèle est-elle vraiment comparable à celle d’un citoyen ?
Les enquêtes et les sondages permettent aux sociétés de mieux comprendre ce que pensent les citoyens sur des sujets aussi variés que la politique, la santé ou l’éducation. Mais de moins en moins de personnes acceptent d’y répondre, ce qui oblige les instituts à solliciter davantage de participants et fait fortement grimper les coûts. Aux États-Unis, un prestataire de sondages facture ainsi une enquête de dix minutes auprès de 1 000 personnes plusieurs dizaines de milliers de dollars.
Les modèles d’intelligence artificielle pourraient-ils remplacer à terme des centaines, voire des milliers de répondants en reproduisant la diversité des réponses qu’apporteraient de vrais êtres humains ? Cette pratique, appelée « enquêtes synthétiques » ou « échantillon silicium » (« silicon sampling »), est déjà utilisée et coûte bien moins cher. Mais les résultats sont-ils fiables ?
Je suis un chercheur en apprentissage automatique. J’étudie les grands modèles de langage et leurs usages en médecine et dans la recherche scientifique. Ces systèmes évoluent en permanence à mesure que les entreprises les mettent à jour. Selon les consignes fournies, les paramètres utilisés ou la version du modèle, les réponses à une même question peuvent varier considérablement.
Cette caractéristique peut rendre ces modèles difficiles à utiliser de manière fiable dans les recherches en sciences sociales. Mais elle peut aussi être mise à profit pour simuler les réponses d’un grand nombre de personnes, ce que les chercheurs appellent des « répondants synthétiques ».
Pour générer, par exemple, 10 000 réponses avec ChatGPT, un institut de sondage peut fournir au modèle quelques informations démographiques de base ainsi qu’un contexte, par exemple : « Vous êtes un jeune électeur urbain, étudiant à l’université et de sensibilité politique conservatrice. Répondez aux questions suivantes. » Les chercheurs peuvent ensuite faire varier ces caractéristiques démographiques afin d’obtenir, pour une même question, une grande diversité de réponses produites par ChatGPT.
Le modèle possède également sa propre part d’aléa interne, ce qui l’amène naturellement à produire des réponses différentes lorsqu’une même question lui est posée à plusieurs reprises. Les chercheurs peuvent ainsi combiner les consignes fournies au modèle et cette part de hasard pour générer 10 000 réponses synthétiques différentes.
Les simulations ne sont pas des opinions
Les sondeurs utilisent depuis longtemps des modèles statistiques pour généraliser les résultats obtenus à partir d’un nombre limité de réponses. Et différents analystes peuvent tirer des conclusions différentes à partir des mêmes données d’enquête. Les études portant sur les répondants synthétiques suggèrent qu’ils pourraient être encore plus sensibles que les humains à de légères modifications des consignes ou des paramètres produisant des résultats très différents.
Mais l’utilisation de répondants synthétiques soulève une question plus fondamentale. Les sondages ne sont pas seulement des outils de prédiction. Ce sont aussi des instruments de mesure destinés à saisir ce que les gens pensent réellement. Un thermomètre mesure directement votre température. Vous ne feriez sans doute pas confiance à un appareil qui se contenterait d’estimer votre température en consultant un modèle d’intelligence artificielle.
Les grands modèles de langage et les autres outils d’IA héritent des biais et des angles morts présents dans les données sur lesquelles ils ont été entraînés. Par exemple, l’IA peut simplifier à l’excès ou déformer les opinions de groupes de population sous-représentés en ligne. Les sondages traditionnels comportent eux aussi des biais, mais nombre de ceux qui affectent les systèmes d’IA modernes restent invisibles au public, enfermés dans des modèles propriétaires dont le fonctionnement n’est pas transparent. Plus problématiques encore, certains instituts pourraient présenter au public des résultats issus de répondants synthétiques comme s’ils provenaient d’enquêtes réalisées auprès de personnes réelles.
Ces limites risquent d’éroder la confiance dans les sondages et, plus largement, dans la recherche par enquête. Elles soulèvent également un paradoxe intéressant. Les données synthétiques, créées par ordinateur ou par simulation, sont largement utilisées dans l’IA moderne. Elles servent à entraîner des systèmes d’intelligence artificielle dans des domaines aussi variés que la médecine, la finance, la robotique, les véhicules autonomes et bien d’autres. Pourquoi, dès lors, les réponses synthétiques à des sondages semblent-elles poser davantage de problèmes ?
La différence essentielle est que les données synthétiques sont vérifiées à l’aune du réel. Une voiture autonome peut être entraînée à partir d’images et de vidéos synthétiques représentant différentes conditions de circulation, mais aucun constructeur ne la mettrait en circulation sur la voie publique sans de vastes tests en conditions réelles. Si les données synthétiques dégradent les performances du système, les ingénieurs peuvent le corriger, le réentraîner ou le remplacer.
Les chercheurs peuvent être tentés de considérer les réponses synthétiques à des enquêtes comme une représentation de l’opinion publique. Pourtant, le système ne mesure pas réellement cette opinion. Il exécute une simulation de l’opinion publique fondée sur les données sur lesquelles il a été entraîné. Si ces opinions simulées s’éloignent de la réalité, les chercheurs risquent de ne s’en apercevoir qu’une fois que des conclusions erronées auront déjà influencé des politiques publiques, des décisions d’entreprise ou des travaux de recherche scientifique.
Des enquêtes mieux conçues et mieux analysées
Cela ne signifie pas pour autant que l’IA n’a aucun rôle à jouer dans la recherche par sondage. Elle peut au contraire aider les chercheurs à améliorer la conception des enquêtes sans affaiblir la mesure de l’opinion publique. Les outils d’IA peuvent contribuer à formuler des questions plus claires en simplifiant leur rédaction, en réduisant les ambiguïtés et en éliminant les répétitions. Ils peuvent aussi aider à supprimer les questions inutiles, ce qui facilite la participation des répondants. Ces outils sont également capables d’adapter les questionnaires à différentes langues.
Une fois l’enquête terminée, l’IA peut aider les chercheurs à organiser de grands volumes de réponses ouvertes, à résumer les thèmes récurrents et à traiter les questionnaires incomplets plus efficacement que des analystes humains. Certains chercheurs explorent ainsi des approches hybrides, combinant des enquêtes réalisées auprès d’échantillons humains plus restreints avec des outils d’analyse assistés par l’intelligence artificielle.
Les décideurs s’appuient sur les enquêtes et les sondages pour écouter et comprendre la voix des personnes affectées par leurs décisions. Remplacer les répondants humains par des répondants synthétiques risque d’affaiblir ce lien. Dans le même temps, la baisse des taux de réponse et l’augmentation des coûts constituent de véritables défis pour la recherche par sondage.
Je suis convaincu que de futurs travaux permettront de trouver des moyens d’utiliser l’intelligence artificielle de façon transparente, efficace et scientifiquement rigoureuse, sans pour autant remplacer les personnes elles-mêmes.
Ambuj Tewari a reçu des financements de la National Science Foundation et des NIH.
– ref. Les sondages générés par IA séduisent des instituts, mais peuvent-ils vraiment refléter ce que pensent les gens ? – https://theconversation.com/les-sondages-generes-par-ia-seduisent-des-instituts-mais-peuvent-ils-vraiment-refleter-ce-que-pensent-les-gens-284474