«L’IA pourrait tous nous tuer»: Anthropic met en garde contre une menace d’arme biologique, OpenAI veut ralentir

Quelques jours après que Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, ait averti que l’intelligence artificielle pourrait « nous tuer tous d’ici la fin de la décennie », les développements au sein de deux des entreprises d’IA les plus puissantes au monde attirent à nouveau l’attention sur les dangers que leurs propres chercheurs et dirigeants ont reconnus à maintes reprises, tout en continuant à développer des systèmes de plus en plus performants.

La démission de Coxon a été d’autant plus marquante qu’il avait travaillé à la fois chez OpenAI et chez Anthropic. Plutôt que d’accuser le secteur de simplement fermer les yeux sur les dangers potentiels, il a affirmé que les principaux laboratoires en avaient pleinement conscience et continuaient malgré tout à se livrer à une course effrénée, reprochant aux entreprises de « se précipiter tête baissée vers une superintelligence capable de s’auto-améliorer et de jouer avec nos vies ».

Anthropic a récemment révélé des activités impliquant ses systèmes d’IA qui ont suscité des inquiétudes quant à une assistance pouvant être liée à des travaux biologiques dangereux. L’entreprise est intervenue et a bloqué ces activités, bien qu’elle n’ait pas pu déterminer de manière concluante si les personnes impliquées avaient des objectifs scientifiques légitimes ou des intentions malveillantes, une distinction importante pour évaluer la gravité de ces incidents.

Ces épisodes mettent en lumière un problème épineux auquel sont confrontés les modèles d’IA de plus en plus sophistiqués. Des systèmes capables d’aider les scientifiques à accélérer des recherches biologiques légitimes pourraient potentiellement fournir des informations utiles à quiconque poursuivrait des objectifs nuisibles. À mesure que les capacités de l’IA s’améliorent, les entreprises doivent donc déterminer à quel moment l’assistance scientifique ordinaire franchit la ligne rouge et débouche sur des connaissances susceptibles de faciliter la mise au point d’armes biologiques ou d’autres activités dangereuses.

Cette préoccupation ne se limite pas aux seules critiques extérieures. Sam Altman, PDG d’OpenAI, Dario Amodei, PDG d’Anthropic, et Demis Hassabis, PDG de Google DeepMind, ont signé, aux côtés de nombreux autres chercheurs et dirigeants de premier plan, une déclaration du secteur affirmant que « la réduction du risque d’extinction lié à l’IA devrait constituer une priorité mondiale au même titre que d’autres risques à l’échelle de la société, tels que les pandémies et la guerre nucléaire ».

Dans ce contexte, Altman aurait déclaré aux employés d’OpenAI que l’entreprise pourrait être disposée à coordonner ses efforts avec ceux de laboratoires de pointe concurrents afin de ralentir le développement de l’IA de pointe si les circonstances l’exigeaient. Une telle initiative ne signifierait pas la fin de la course à l’IA, mais elle indique que même ses acteurs les plus influents envisagent de limiter son rythme de progression.

Evan Hubinger, responsable scientifique chez Anthropic Alignment, a publiquement réitéré l’avertissement sans précédent de Jacob Coxon. « Jacob a raison sur ce point : nous croyons sincèrement que l’IA pourrait bien anéantir l’humanité ! Je pense personnellement que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a écrit M. Hubinger, soulignant ainsi que les chercheurs travaillant directement sur la sécurité des IA avancées nourrissent des craintes quant à des conséquences catastrophiques.

Parallèlement, Altman incite les entreprises américaines du secteur des services publics à utiliser la technologie d’OpenAI pour aider à protéger le réseau électrique contre des cyberattaques de plus en plus sophistiquées menées à l’aide de l’IA. Cette proposition soulève un paradoxe frappant : une IA avancée pourrait devenir une arme défensive importante contre les cybermenaces, alors même que des modèles de plus en plus performants risquent de fournir aux cyberattaquants de nouveaux outils puissants pour cibler les infrastructures critiques.

Cette dynamique pourrait donner lieu à une escalade de la course technologique entre attaquants et défenseurs. L’intelligence artificielle pourrait aider les services publics à identifier les vulnérabilités et à réagir rapidement aux cyberattaques, tandis qu’une technologie similaire pourrait permettre aux adversaires d’automatiser leurs opérations, de détecter les failles et d’accroître leurs capacités. Ces mêmes avancées technologiques pourraient donc renforcer les deux camps dans une bataille de cybersécurité aux enjeux de plus en plus importants.

Ce débat est d’autant plus inhabituel que les mises en garde émanent précisément de ceux-là mêmes qui développent cette technologie. Jakub Pachocki, directeur scientifique d’OpenAI, a déclaré qu’« une intervention pourrait s’avérer nécessaire pour garantir que les humains gardent le contrôle de l’avenir ». Dans le même temps, les dirigeants à la tête de ces laboratoires de pointe continuent d’investir des ressources considérables dans le développement de systèmes destinés à devenir nettement plus performants que les modèles actuels.

Le fait qu’Anthropic bloque certaines activités biologiques potentiellement dangereuses, qu’OpenAI propose des systèmes de défense basés sur l’IA pour les infrastructures critiques et qu’Altman envisage un ralentissement coordonné ne signifie pas que le secteur ait renoncé à sa course vers une IA plus puissante. Au contraire, cela met en évidence le défi central soulevé par Coxon : si les personnes qui développent des IA avancées croient sincèrement que les conséquences pourraient être catastrophiques, jusqu’où sont-elles réellement prêtes à aller pour les empêcher ?