Source: The Conversation – in French – By Emmanuelle Vaast, Professor of Information Systems, McGill University
Anthropic, une entreprise de pointe dans le domaine de l’intelligence artificielle, a récemment refusé de signer un contrat avec Le Pentagone qui aurait donné à l’armée américaine un « accès illimité » à sa technologie « à toutes fins légales ». Pour signer, le PDG de la société, Dario Amodei, avait posé deux conditions claires : pas de surveillance de masse des citoyens américains et pas d’armes entièrement autonomes sans supervision humaine.
Le lendemain, les États-Unis et Israël lançaient une offensive à grande échelle contre l’Iran.
On peut se poser les questions suivantes : à quoi ressemblerait une guerre menée avec des armes entièrement autonomes ? Quelle est l’importance de la décision éthique prise par Amodei lorsqu’il a qualifié les armes entièrement autonomes et la surveillance de masse de ligne que son entreprise refusait de franchir ? Que représente cette limite pour d’autres pays ?
Cette décision a coûté très cher à Anthropic. Le président américain, Donald Trump, a ordonné à toutes les agences américaines de cesser d’utiliser les outils d’IA d’Anthropic, composés de grands modèles de langage (GML) et du robot conversationnel Claude. Pete Hegseth, secrétaire à la Défense, a qualifié l’entreprise de « risque pour la chaîne d’approvisionnement », ce qui pourrait avoir un impact sur les contrats futurs d’Anthropic. L’entreprise rivale OpenAI a rapidement conclu un accord avec Le Pentagone par la suite.
Les risques liés aux armes entièrement autonomes
Les robots conversationnels ne constituent pas des armes en soi, mais ils peuvent être intégrés à des systèmes d’armement. S’ils ne tirent pas de missiles et ne contrôlent pas de drones, ils peuvent toutefois être connectés à de grands systèmes militaires.
Ils peuvent notamment synthétiser rapidement des renseignements, générer des listes de cibles, classer les menaces hautement prioritaires et recommander des frappes. Le processus, qui va de la collecte des données des capteurs à l’interprétation, la sélection de cibles et l’activation d’armes représente un risque majeur : il s’effectue avec un contrôle humain minimal, voire inexistant, et sans qu’aucun opérateur en ait même conscience.
Les armes entièrement autonomes sont des plates-formes militaires qui, une fois activées, mènent des opérations de manière indépendante, sans intervention humaine. Elles s’appuient sur des capteurs, tels que des caméras et des radars, ainsi que sur des algorithmes d’IA pour analyser leur environnement, repérer, sélectionner et atteindre des cibles.
Des hélicoptères de pointe fonctionnent déjà sans intervention humaine. Avec les armes complètement autonomes, les humains ne jouent plus aucun rôle, et l’IA prend les décisions finales concernant les attaques et la stratégie sur le champ de bataille.Bas du formulaire
Ce qui est particulièrement inquiétant, c’est que des recherches récentes ont montré que, dans 95 % des cas, des modèles d’IA avancés avaient choisi d’utiliser des armes nucléaires dans des jeux de guerre simulés.
Les risques de la surveillance de masse
Les modèles d’IA de pointe peuvent résumer rapidement d’énormes ensembles de données et générer des profils afin de détecter des personnes et des activités suspectes, même à partir d’associations faibles. Dans sa déclaration sur les discussions entre Anthropic et le département de la guerre, Amodei a fait valoir que « la surveillance de masse basée sur l’IA présente des risques sérieux et sans précédent pour nos libertés fondamentales ».
Ces systèmes peuvent analyser des dossiers, des communications et des métadonnées afin d’effectuer des recherches au sein de populations. Ils peuvent produire des rapports et des listes de personnes qui permettent de déterminer qui sera interrogé, qui se verra refuser l’entrée dans un pays ou l’accès à un emploi, etc. Ils présentent des risques pour la vie privée, car ils peuvent analyser des données provenant de multiples sources, telles que des comptes de réseaux sociaux, et les combiner à des caméras et à la reconnaissance faciale pour suivre des individus en temps réel.
Les modèles d’IA peuvent commettre des erreurs. La moindre association erronée peut avoir des conséquences graves si le système est utilisé pour des millions de personnes.
De plus, ces modèles sont opaques : leur manière d’analyser les données et d’aboutir à des conclusions n’est pas entièrement compréhensible, ce qui rend difficile la remise en question des résultats obtenus.
À toutes fins légales
L’expression « à toutes fins légales » semble constituer une limite de sécurité. Pourtant, cette formulation signifie que le gouvernement peut utiliser l’IA pour toutes les fins qu’il juge légales, avec peu de restrictions dans le contrat.
Cette notion est importante, car la légalité est un concept variable : les lois peuvent changer et sont souvent mal adaptées pour faire face en temps réel à des innovations en constante évolution ; par ailleurs, les interprétations peuvent varier.
C’est ce qui a conduit Anthropic, une entreprise fondée par d’anciens employés d’OpenAI et dédiée explicitement à la sécurité et à l’éthique de l’IA, à affirmer que la surveillance de masse rendue possible par l’IA constituait un risque nouveau, et que la notion de « fins légales » ne garantissait pas une protection adéquate.
Anthropic a créé un laboratoire interne afin de comprendre comment Claude interprète les requêtes et prend des décisions de manière autonome. Compte tenu de l’opacité des GML et de la rapidité avec laquelle leurs capacités évoluent, ce type d’initiative est essentiel.
Le projet Maven avec des enjeux plus importants ?
Cette histoire rappelle des précédents. Les sociétés technologiques sont depuis longtemps à la pointe de l’innovation, promettant des progrès considérables tout en présentant des risques d’utilisation abusive et de conséquences négatives. Le projet Maven de Google, lancé en 2018, est sans doute l’initiative qui offre le meilleur point de comparaison.
Google avait conclu un contrat avec Le Pentagone pour contribuer à l’analyse des images de surveillance prises par des drones. Quatre mille employés de Google ont protesté contre ce projet, affirmant que la surveillance ne devait pas faire partie de la mission de l’entreprise. Celle-ci a annoncé qu’elle ne renouvellerait pas le contrat Maven, puis a publié des principes en matière d’intelligence artificielle comprenant des assurances concernant les armes et la surveillance.
Cette situation est devenue un cas emblématique du pouvoir de la mobilisation des employés et de la pression publique.
L’exemple nous rappelle toutefois que l’éthique des entreprises et la sécurité de l’IA sont fluctuantes. Au début de l’année 2025, Google a en effet renoncé discrètement à son engagement de ne pas utiliser l’IA à des fins militaires ou de surveillance, dans le but d’obtenir de nouveaux contrats lucratifs dans le domaine de la défense.
La situation actuelle d’Anthropic présente certaines similitudes avec celle de Google et de son projet Maven. Elle met en lumière ce qui arrive lorsqu’une entreprise et ses dirigeants tentent de limiter les applications militaires de l’IA et que les valeurs défendues entrent en conflit avec les demandes des gouvernements et de la sécurité nationale.
Le cas d’Anthropic est différent de Maven, car l’IA générative est beaucoup plus puissante en 2026 qu’il y a quelques années. Maven ne concernait que l’analyse d’images filmées par des drones. Les modèles actuels servent à de nombreuses tâches, ce qui augmente le risque de débordement.
Les GML comme Claude peuvent s’améliorer de manière autonome en apprenant des corrections apportées par les utilisateurs et en affinant leurs actions grâce à des boucles de rétroaction itératives. Il est donc inquiétant d’imaginer ce que Claude et son client, Le Pentagone, auraient pu faire si on ne leur avait imposé aucune limite.
Qui établit les limites ?
La question n’est pas d’affirmer qu’Anthropic est particulièrement rigoureux dans ses principes ou que Le Pentagone a de trop grandes demandes, mais de comprendre que la question cruciale qui se posera sans cesse à mesure que l’IA deviendra plus puissante, c’est : qui fixe les limites de son utilisation lorsque la sécurité nationale est en jeu ?
Si la notion de « fins légales » devient la valeur par défaut, les garde-fous dépendront des politiques et de l’interprétation juridique. Pour le Canada et d’autres pays, les mesures de protection sont essentielles. L’éthique ne saurait être laissée aux négociations contractuelles et à la seule conscience des entreprises.
Ces événements illustrent la complexité de la mise en œuvre pratique de l’éthique de l’IA. Les principes et les déclarations en la matière sont nombreux et importants. Dans les faits, toutefois, l’éthique de l’IA est définie par des contrats, des règles d’approvisionnement, le comportement réel des différentes parties prenantes et la surveillance.
Les secteurs public et de la défense du Canada développent leurs capacités en matière d’IA et le pays travaille en étroite collaboration avec les secteurs de la défense et du renseignement américains. Cela signifie que le vocabulaire et les normes relatives à l’approvisionnement peuvent se propager. Si la notion de « fins légales » devient la norme sur le marché américain de la sécurité nationale, le Canada et d’autres pays pourraient être incités à adopter une formulation similaire.
La bonne nouvelle, c’est que le Canada dispose d’outils de gouvernance qu’il peut renforcer et étendre. La directive sur la prise de décision automatisée vise à garantir la transparence, la responsabilité et l’équité des systèmes. Elle prévoit une évaluation de l’incidence et la publication de rapports.
L’évaluation de l’incidence algorithmique est un outil obligatoire d’évaluation des risques liés à la directive.
Les Canadiens doivent suivre l’évolution de la situation afin de s’assurer que les normes d’approvisionnement mentionnent les utilisations interdites, de demander des contrôles et une surveillance indépendante, et de veiller à ce que les mesures de protection ne dépendent pas uniquement des gouvernements en place et des grosses entreprises.
Emmanuelle Vaast ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d’une organisation qui pourrait tirer profit de cet article, et n’a déclaré aucune autre affiliation que son organisme de recherche.
– ref. D’Anthropic à l’Iran : qui fixe les limites de l’utilisation de l’IA dans les domaines de la guerre et de la surveillance ? – https://theconversation.com/danthropic-a-liran-qui-fixe-les-limites-de-lutilisation-de-lia-dans-les-domaines-de-la-guerre-et-de-la-surveillance-277457