L’introduction de l’autonomie dans les systèmes d’armes augmentera l’imprévisibilité des conflits armés en raison de l’incapacité technique des algorithmes d’intelligence artificielle (IA) à analyser des facteurs contextuels complexes, a-t-on dit à Lords.
Lors de la dernière session du comité des armes de la Chambre des Lords sur l’IA – qui a été créé fin janvier 2023 pour explorer l’éthique du développement et du déploiement de systèmes d’armes autonomes (AWS) – des experts juridiques et des ingénieurs en logiciel ont déclaré à Lords que les systèmes d’IA actuels sont pas en mesure d’évaluer si une action militaire donnée est appropriée ou proportionnée, et ne le pourra probablement jamais.
Ils ont ajouté que même si l’IA ne sera jamais suffisamment autonome pour assumer la responsabilité des décisions militaires, même une autonomie limitée introduirait de nouveaux problèmes en termes d’imprévisibilité accrue et de possibilités de « biais d’automatisation ».
Au lieu de cela, ils ont fait valoir qu’il doit toujours y avoir un “contrôle humain significatif” des systèmes d’armes alimentés par l’IA. « Une fois l’autonomie en place, vous avez introduit un autre type d’acteur dans le système. Les êtres humains se comportent de diverses manières qui sont généralement sensibles au contexte dans lequel nous opérons », a déclaré Laura Nolan, ingénieur logiciel principal chez Stanza Systems et membre de la campagne Stop Killer Robots, ajoutant que si les humains peuvent facilement s’adapter les uns aux autres et au contexte d’une situation, même les systèmes d’IA les plus avancés ne sont actuellement pas en mesure de le faire.
“Vous devez définir ce qu’ils doivent faire dans quel contexte, et les composants d’apprentissage automatique consistent généralement à détecter l’environnement, à détecter un profil cible – mais la décision n’est pas adaptée au contexte.”
Elle a ajouté que les armes autonomes rendent également « extrêmement difficile » pour les opérateurs et les commandants de contrôler le lieu et le moment des attaques, et donc d’anticiper si elles étaient proportionnées ou s’il y aura des dommages collatéraux.
“Vous demandez aux commandants d’anticiper les effets d’une attaque qu’ils ne contrôlent pas totalement ou ne peuvent pas totalement anticiper”, a-t-elle déclaré. « Un principe fondamental de la théorie des systèmes complexes dit que lorsque vous avez des systèmes avec plusieurs composants, plusieurs acteurs interagissant… le nombre de résultats potentiels augmente de façon exponentielle. Il devient alors très, très difficile de prévoir ces effets.
Biais d’automatisation
Ensuite, il y a le problème supplémentaire du biais d’automatisation (se référant à la tendance des humains à faire plus confiance aux sorties des systèmes automatisés qu’ils ne feraient confiance aux informations provenant d’une autre source), dont l’élimination complète, selon Nolan, serait une « chimère ».
“C’est un domaine extrêmement actif et de longue date de recherche sur les facteurs humains sur la façon de réduire le biais d’automatisation ou de l’éliminer, et nous ne savons pas comment”, a-t-elle déclaré.
Sur la question de savoir si une arme alimentée par l’IA serait un jour capable d’évaluer de manière autonome la proportionnalité des décisions de combat, Nolan a déclaré qu’elle pensait qu’il était “absolument impossible” pour une machine de prendre ce genre de décisions, car seul un humain pourrait évaluer le contexte stratégique global.
“Vous devez connaître la valeur militaire stratégique anticipée de l’action, et il n’y a aucun moyen qu’une arme puisse le savoir”, a-t-elle déclaré. “Une arme est sur le terrain, regardant peut-être des images, une sorte d’apprentissage automatique et des trucs de perception. Il ne sait rien. Il s’agit simplement de faire des calculs qui n’offrent pas vraiment de rapport avec la valeur militaire.
Expliquant comment les modèles d’IA allouent mathématiquement des pixels pour identifier le contenu des images – ce que n’importe quel AWS devrait faire sur le terrain à partir d’un flux en direct – Taniel Yusef, chercheur invité au Centre d’étude du risque existentiel de l’Université de Cambridge, a déclaré que bien que le les mathématiques sous-jacentes pourraient être «précises», cela ne signifie pas nécessairement que les résultats seront «corrects».
Donnant l’exemple du moment où elle a testé un algorithme conçu pour distinguer les images de chats et de chiens, Yusef a déclaré que même des tâches simples comme celle-ci peuvent mal tourner.
“Il a décidé que le chat était un chien”, a-t-elle déclaré. “Ce qui m’inquiète, c’est que lorsque cela se produit sur le terrain, vous aurez des gens sur le terrain disant que ces civils ont été tués, et vous aurez un rapport de l’arme qui vous répondra, ‘Mais regardez les calculs’.
«Les maths disent que c’était une cible qui était une base militaire… parce que les maths le disent, et nous nous en remettons beaucoup aux maths parce que les maths sont très spécifiques, et les maths seront exactes. Il y a une différence entre correct et précis. Il y a une différence entre précis et exact. Les calculs seront exacts parce qu’ils ont été correctement codés, mais ils ne seront pas exacts sur le terrain », a déclaré Yusef.
“Donc, quand vous posez la question de la proportionnalité et si c’est techniquement possible [to delegate responsibility to AI]non, ce n’est pas techniquement possible, parce que vous ne pouvez pas connaître le résultat d’un système, comment il atteindra l’objectif que vous avez codé, jusqu’à ce qu’il l’ait fait, et vous ne savez pas comment il en est arrivé là », a-t-elle déclaré. a dit.
Interjection des pairs
Lorsqu’un pair est intervenu pour dire que les humains pouvaient faire des erreurs similaires, comme “l’autre jour, j’ai vu un chien que je pensais être un chat”, Yusef a répondu : “Vous ne l’avez pas abattu.”
Christian Enemark, professeur de relations internationales à l’Université de Southampton, a déclaré : « La décharge autonome de [discrimination and proportionality] à une entité non humaine est un non-sens philosophique, sans doute.
Il a ajouté que ce devrait toujours être un agent humain qui prend des décisions et en assume la responsabilité, et que la conversation générale sur AWS devrait être élargie pour inclure d’autres domaines pratiques où ils pourraient être utilisés.
“Les armes peuvent être utilisées en dehors des conflits armés, et pourtant la conversation a été principalement dirigée vers les conflits armés et le droit qui régit les conflits armés, qui est le droit international humanitaire”, a-t-il déclaré. “Mais cela n’a pas besoin d’être aussi restreint, et on peut dire qu’il devrait être élargi pour inclure l’utilisation de la violence par l’État, par exemple, à des fins d’application de la loi – nous devons réfléchir aux implications de l’incorporation de l’IA dans ce domaine. contexte.
« Et une fois que nous sortons du contexte de conflit armé, nous ne sommes pas limités à parler de droit humanitaire. Nous sommes maintenant prêts à être inspirés et guidés par le droit international des droits de l’homme également.
Lors de sa première séance de témoignages, le comité a appris que les avantages potentiels de l’utilisation de l’IA dans les systèmes d’armes et les opérations militaires ne devraient pas être confondus avec une meilleure conformité au droit international humanitaire, au motif que l’accélération de la guerre au-delà des capacités cognitives ordinaires des humains limiterait la capacité à prévenir une attaque illégale ou inutile.
Les témoins experts de cette session ont également noté que le déploiement d’armes d’intelligence artificielle pourrait également rendre le recours à la violence plus fréquent que moins fréquent, car le seuil de recours à la force serait considérablement plus bas.
Read more Tech News in French
Source
