La semaine dernière, les dirigeants mondiaux se sont réunis pour discuter de la possibilité que Vladimir Poutine utilise des armes chimiques en Ukraine. D’autant plus alarmant, alors, de lire un rapport publié ce mois-ci sur la façon dont le logiciel d’IA a été utilisé pour concevoir des toxines, y compris le tristement célèbre agent neurotoxique VX – classé par l’ONU comme arme de destruction massive – et des composés encore plus nocifs.
En moins de six heures, un logiciel d’intelligence artificielle disponible dans le commerce, généralement utilisé par les chercheurs en médicaments pour découvrir de nouveaux types de médicaments, a pu trouver 40 000 composés toxiques à la place. Beaucoup de ces substances sont auparavant inconnues de la science et peut-être bien plus mortelles que tout ce que nous, les humains, avons créé par nous-mêmes.
Bien que les auteurs du rapport soulignent qu’ils n’ont synthétisé aucune des toxines – et ce n’était pas leur objectif – le simple fait que les logiciels d’apprentissage automatique couramment utilisés soient si facilement capables de concevoir des composés mortels devrait tous nous horrifier.
Le logiciel sur lequel les chercheurs se sont appuyés est utilisé commercialement par des centaines d’entreprises travaillant dans l’industrie pharmaceutique dans le monde entier. Il pourrait facilement être acquis par des États voyous ou des groupes terroristes. Bien que les auteurs du rapport affirment qu’une certaine expertise est encore nécessaire pour fabriquer des toxines puissantes, l’ajout de l’IA au domaine de la découverte de médicaments a considérablement abaissé le seuil technique requis pour la conception d’armes chimiques.
Comment contrôlerons-nous qui a accès à cette technologie ? Pouvez on le police ?
Je n’ai jamais été très préoccupé par l’argument « l’IA va nous tuer » promulgué par les prophètes de malheur et envisagé dans des films tels que « Terminator ». Bien que j’adore la franchise, en tant que personne formée en informatique, j’ai vu le scénario comme un fantasme plutôt délirant imaginé par des techniciens pour amplifier leur propre signification. Skynet est une bonne science-fiction, mais les ordinateurs sont loin d’être une véritable intelligence, et il reste encore un long chemin à parcourir avant qu’ils ne puissent “prendre le relais”.
Et encore. Le scénario présenté dans la revue Nature Machine Intelligence décrit une menace que presque personne dans le domaine de la découverte de médicaments ne semble même avoir envisagée. Certainement pas les auteurs du rapport, qui n’ont pas pu le trouver mentionné « dans la littérature », et qui s’avouent choqués par leurs conclusions. “Nous étions naïfs quant à l’utilisation abusive potentielle de notre métier”, écrivent-ils. “Même nos recherches sur Ebola et les neurotoxines… n’avaient pas sonné l’alarme.”
Leur étude “met en évidence comment un créateur autonome non humain d’une arme chimique mortelle est tout à fait réalisable”. Ils n’ont pas peur d’un avenir dystopique lointain, mais de ce qui pourrait arriver en ce moment. “Ce n’est pas de la science-fiction”, déclarent-ils, exprimant un degré d’émotion rarement vu dans un article technique.
Revenons un instant en arrière et regardons comment cette recherche a vu le jour. Le travail était à l’origine conçu comme une expérience de pensée : de quoi l’IA est-elle capable si elle se fixe un objectif néfaste ? La société à l’origine de la recherche, Collaborations Pharmaceuticals Inc., est un petit acteur respecté dans le domaine en plein essor de la découverte de médicaments basés sur l’IA.
“Nous avons passé des décennies à utiliser des ordinateurs et l’IA pour améliorer la santé humaine – pas pour la dégrader”, c’est ainsi que les quatre co-auteurs décrivent leur travail, qui est soutenu par des subventions des National Institutes for Health.
Les scientifiques ont été invités à rédiger un article lors d’une conférence semestrielle organisée par l’Institut fédéral suisse de protection nucléaire, biologique et chimique sur “comment les technologies d’IA pour la découverte de médicaments pourraient être potentiellement utilisées à mauvais escient”. C’était un exercice purement théorique.
Les quatre scientifiques ont abordé le problème avec une logique simple : plutôt que de confier à leur logiciel d’IA la tâche de trouver des produits chimiques bénéfiques, ils ont inversé la stratégie et lui ont demandé de trouver des produits destructeurs. Ils ont alimenté le programme avec les mêmes données qu’ils utilisent habituellement à partir de bases de données qui répertorient les effets thérapeutiques et toxiques de diverses substances.
En quelques heures, les algorithmes d’apprentissage automatique ont fait apparaître des milliers de composés épouvantables. Le programme a non seulement produit du VX (utilisé pour assassiner le demi-frère de Kim Jong Un à Kuala Lumpur en 2017), mais de nombreux autres agents de guerre chimique connus. Les chercheurs les ont confirmés grâce à une “identification visuelle avec des structures moléculaires” enregistrées dans des bases de données publiques sur la chimie. Pire, le logiciel proposait de nombreuses molécules que les chercheurs n’avaient jamais vues auparavant et qui “semblaient tout aussi plausibles” que les toxines et peut-être plus dangereuses.
Tout ce qu’il a fallu, c’est un renversement de cible, et un “modèle génératif inoffensif” a été transformé “d’un outil médical utile en un générateur de molécules probablement mortelles”.
Les molécules ne sont que des conceptions, mais comme l’écrivent les auteurs dans leur rapport : “Pour nous, le génie est maintenant sorti de la bouteille médicale.” Ils peuvent “effacer” leur dossier de ces substances, mais ils “ne peuvent pas supprimer la connaissance” de la façon dont d’autres peuvent les recréer.
Ce qui inquiète le plus les auteurs, c’est que, pour autant qu’ils aient pu le découvrir, le potentiel d’utilisation abusive d’une technologie manifestement conçue pour le bien n’a pas du tout été pris en compte par sa communauté d’utilisateurs. Créateurs de de novo les drogues, soulignent-ils, ne sont tout simplement pas formées pour penser à la subversion.
Dans l’histoire de la science, il existe d’innombrables exemples de bon travail détourné à des fins néfastes. Les lois du mouvement de Newton sont utilisées pour concevoir des missiles ; la division de l’atome a donné naissance à des bombes atomiques ; les mathématiques pures aident les gouvernements à développer des logiciels de surveillance. La connaissance est souvent une épée à double tranchant.
Oubliez Skynet. Les logiciels et le savoir-faire conçus pour sauver nos vies peuvent s’avérer être l’une des plus grandes menaces auxquelles nous sommes confrontés.
Margaret Wertheim est une écrivaine scientifique et artiste qui a écrit des livres sur l’histoire culturelle de la physique.
Read more Tech News in French
Source
