Source: The Conversation – in French – By Kyara Liu, PhD Candidate, Public Health, University of Toronto
À la veille de Noël, l’entreprise xAI clamait que son agent conversationnel Grok offrait une nouvelle fonctionnalité d’édition d’images et de vidéos qui permettrait « d’ajouter le père Noël à vos photos ». Depuis, elle a plutôt généré des milliers d’images sexuellement explicites et non consenties de femmes et de mineurs.
Ce désastre illustre parfaitement la facilité croissante avec laquelle les nouvelles technologies permettent de commettre des violences sexuelles.
Il est urgent que les entreprises technologiques et les décideurs politiques priorisent la sécurité et la réglementation de l’intelligence artificielle de toute urgence. Dans une optique de santé publique, il s’agit de protéger les populations contre des dommages à grande échelle.
À travers diverses collaborations et mes études doctorales sur l’intersectionnalité entre violence sexiste et santé publique, j’ai pu vérifier qu’il est possible d’utiliser l’intelligence artificielle comme outil pour aider les victimes de violence.
À lire aussi :
Grok, l’IA de Musk, est-elle au service du techno-fascisme ?
Appli qui dénudent
Les préoccupations relatives à l’hypertrucage (les deepfakes en anglais) sexuellement explicite ne datent pas d’hier. En 2018, sur Reddit, on retrouvait déjà des outils d’apprentissage automatique capable de plaquer le visage Taylor Swift et autres célébrités sur du matériel pornographique.
D’autres sites, plus confidentiels, proposaient également des programmes d’hypertrucage permettant de dénuder des personnes en image.
Cette technologie est désormais accessible à tous. L’agent conversationnel Grok, outre son propre site web et son appli, est ouvert à tous les utilisateurs de la plate-forme de médias sociaux X.
Si l’on demande à Grok de créer des images pornographiques, celui-ci répondra qu’il est programmé pour ne pas le faire, certes, mais il est facile de contourner ce garde-fou.
Dans un communiqué publié sur sa propre plate-forme, Elon Musk, propriétaire de xAI, affirme prendre les mesures nécessaires contre les contenus illégaux sur X. L’entreprise, lit-on, les supprime, suspend les comptes de manière définitive et, si nécessaire, collabore avec les autorités.
Cependant, on ignore comment et quand ces mesures seront mises en œuvre.
Rien de nouveau sous le soleil
Ça n’est pas d’hier que les technologies numériques servent de support à la violence sexuelle et aux comportements sexuels préjudiciables virtuels ou réels. Les femmes, les minorités sexuelles et les mineurs en sont les principales victimes.
La pornodivulgation, qui consiste à diffuser des images explicites d’une personne sans son consentement, est une forme de violence sexuelle qui a fait l’objet d’une attention particulière. Les victimes rapportent des effets durables sur leur santé mentale, notamment par la rupture de relations et l’isolement social.
Certains médias sociaux interdisent la diffusion de contenus intimes non consensuels et appliquent des mécanismes de signalement et de suppression de tels contenus.
Google et Bing acceptent également de supprimer de leurs pages de résultats les contenus qui enfreignent leur politique en matière de contenu et qui sont dommageables pour la personne. Au Canada, la « pornographie de vengeance » est un crime passible de cinq ans de prison.
Tout comme les victimes de pornodivulgation, les victimes d’hypertrucage font état de détresse mentale (sentiment d’impuissance, humiliation, honte). Certaines ont même subi de l’extorsion.
L’hypertrucage sexuellement explicite est même devenu un moyen de cyberharcèlement et de censure à l’endroit de journalistes et de femmes politiques.
À lire aussi :
Grok, est-ce que c’est vrai ? Quand l’IA oriente notre compréhension du monde
Et maintenant ?
La grave faille de sécurité révélée par l’affaire Grok était par ailleurs prévisible. Depuis des mois, des experts éminents en la matière et des organisations de protection de l’enfance nous prévenaient que sa nouvelle fonctionnalité était un « outil de dénudement qui ne demandait qu’à servir d’arme ».
Le 9 janvier, en réaction, xAI a limité l’accès à la fonctionnalité d’édition d’images aux seuls abonnés de X, mais celle-ci demeure accessible gratuitement sur l’appli Grok.
Grok s’est vu également interdire de télécharger automatiquement ces images dans les commentaires. Cependant, l’onglet Grok sur X permet toujours aux abonnés de générer des images sexualisées, qu’ils peuvent ensuite publier manuellement sur la plate-forme.
La Malaisie et l’Indonésie ont pris des mesures pour bloquer l’accès à Grok.
Regard vers l’avenir
Ce n’est ni la première fois ni la dernière qu’une entreprise technologique affiche un tel manque de jugement quant au risque de violences sexuelles découlant de l’usage de ses produits.
Le Canada devrait prendre les mesures suivantes :
1. Modifier le Code criminel
Des juristes plaident pour que le législateur criminalise la création et la distribution d’hypertrucages sexuellement explicites et non consensuels, à l’instar des lois existantes sur la pornodivulgation.
2. Réglementer les entreprises et les tenir responsables
Le Canada n’a encore adopté aucune loi pour réglementer l’intelligence artificielle. Malheureusement, le projet de loi C-63 sur les préjudices en ligne est mort au feuilleton suite à la prorogation du Parlement en janvier 2025. Suite à l’affaire Grok, le ministre canadien responsable de l’intelligence artificielle est revenu sur le sujet, mais sa réponse ne comporte ni échéance ni sentiment d’urgence.
Alors que l’IA progresse, la législation devient nécessaire pour prévenir d’autres préjudices liés à la violence sexuelle. Les nouveaux produits devraient se voir imposer des contrôles de sécurité approfondis, quitte à ralentir les activités des entreprises concernées.
Il faut également s’interroger quant à la responsabilité des préjudices causés.
Trois sénateurs américains ont demandé à Apple et Google d’appliquer leur propre politique et de retirer Grok de leur boutique d’applications. Après tout, plaident-ils, elles l’ont déjà fait dans d’autres cas et très rapidement.
Déjà des milliers d’abonnés à l’infolettre de La Conversation. Et vous ? Abonnez-vous gratuitement à notre infolettre pour mieux comprendre les grands enjeux contemporains.
3. Élargir la portée des services sociaux
Face à la multiplication des violences sexuelles commises à l’aide des technologies d’IA, il faut élargir le champ d’action des organismes de lutte contre la violence sexuelle. Il s’agirait de tirer parti des services existants, notamment les soins de santé mentale et l’aide juridique, pour inclure les victimes d’hypertrucage.
4. Démanteler la culture du viol
La principale cause de la violence sexuelle réside dans la prédominance d’une culture du viol sous-jacente. Celle-ci trouve un environnement particulièrement favorable en ligne, où les abus et le harcèlement sexuel sont tolérés, voire encouragés.
Pour démanteler cette culture du viol, il importe de dénoncer tout ce qui normalise ces actes et de placer leurs auteurs devant leur responsabilité.
Kyara Liu ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d’une organisation qui pourrait tirer profit de cet article, et n’a déclaré aucune autre affiliation que son organisme de recherche.
– ref. Affaire Grok : les GAFAM doivent être tenus responsables des violences sexistes liées à leur technologie – https://theconversation.com/affaire-grok-les-gafam-doivent-etre-tenus-responsables-des-violences-sexistes-liees-a-leur-technologie-273956