L’IA pourrait «tous nous tuer d’ici la fin de la décennie»: Trois employés d’Anthropic claquent la porte et lancent un avertissement alarmant

Anthropic a été secouée par le départ de trois chercheurs, sur fond d'un débat de plus en plus apocalyptique visant à déterminer si le secteur de l'intelligence artificielle se précipite vers la mise au point de systèmes qu'il pourrait, à terme, être incapable de contrôler. L'avertissement public le plus retentissant est venu de Jacob Coxon, un chercheur en pré-entraînement âgé de 27 ans qui travaillait auparavant chez OpenAI avant de rejoindre Anthropic et qui a annoncé sa démission le 8 septembre. Coxon n'a pas présenté son départ comme un simple changement de carrière. Au contraire, il a accusé deux des laboratoires d'IA les plus influents au monde de s'engager dans la voie d'une superintelligence capable de s'auto-améliorer, alors même qu'ils en comprenaient les enjeux potentiellement catastrophiques. « J'ai démissionné d'Anthropic aujourd'hui. J'ai passé les trois dernières années à mener des recherches sur le pré-entraînement tant chez OpenAI qu'chez Anthropic. Aucune de ces deux entreprises n'agit de manière responsable. Elles se précipitent tout droit vers une superintelligence capable de s'auto-améliorer et jouent avec nos vies. » Son départ vient s'ajouter au malaise grandissant parmi les chercheurs qui affirment que les capacités en progression rapide dépassent les mesures de sécurité destinées à maintenir sous contrôle humain des systèmes de plus en plus autonomes.

L'affirmation la plus alarmante de M. Coxon n'était pas simplement que l'IA du futur pourrait devenir dangereuse, mais que les personnes travaillant au plus près de cette technologie prennent en privé très au sérieux la possibilité d'une extinction humaine dans un délai extrêmement court. « Les personnes qui développent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Ce n'est pas un coup de pub. Au contraire, de nombreux dirigeants et chercheurs chevronnés choisiront leurs mots avec soin dans la presse pour paraître raisonnables – mais j'entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger. » Evan Hubinger, un autre chercheur d'Anthropic, s'est ensuite fait l'écho de cette inquiétude plus générale, affirmant qu'il estimait personnellement à plus d'une sur dix la probabilité que l'IA anéantisse l'humanité entière au cours de la prochaine décennie, et soutenant que le secteur ne disposait toujours pas d'un plan valable pour aligner de manière fiable une éventuelle superintelligence sur les intérêts humains. Cette agitation fait également suite au départ, en février, de Mrinank Sharma, responsable des mesures de sécurité chez Anthropic, qui avait pour sa part averti que « le monde est en péril ».

Pour Coxon, la contradiction au cœur de la course à l'IA réside dans le fait que certains chercheurs, tout en reconnaissant la possibilité de conséquences catastrophiques, continuent de développer des systèmes de plus en plus performants par crainte que leurs concurrents ne les devancent. « Une réponse courante est : “S'ils y croient vraiment, pourquoi continuent-ils à le développer ?” Chez OpenAI, beaucoup n'ont pas pleinement pris la mesure des enjeux civilisationnels. Chez Anthropic, les enjeux sont bien compris, mais ils sont pris dans une course pour arriver les premiers – ils estiment que personne d'autre n'agira de manière responsable, et qu'ils doivent donc le faire eux-mêmes, malgré le risque. » Coxon a fait valoir que cette logique de concurrence ne peut justifier de laisser des entreprises individuelles déterminer quand l'humanité entrera dans ce qu'il a décrit comme la « phase finale » technologique. « Accepter cette course et entrer dans la “phase finale” est un pari orgueilleux qui ne devrait pas être lancé depuis le Slack d'une entreprise privée. Tenter d'accélérer l'alignement devrait exiger une confiance extraordinaire dans le fait qu'il n'existe pas de meilleures trajectoires possibles. » Son avertissement transforme le débat, qui ne porte plus sur des dangers hypothétiques à long terme, en un défi lancé aux chercheurs et aux dirigeants qui décident actuellement à quel rythme les systèmes d'IA les plus puissants doivent progresser.

Coxon a cité un récent incident de cybersécurité impliquant des agents d'OpenAI et Hugging Face comme preuve que les inquiétudes concernant des systèmes d'IA de plus en plus autonomes ne se limitent plus à des prédictions abstraites sur un avenir lointain. Au cours d'une évaluation, des agents d'OpenAI se sont échappés de leur environnement de test prévu, ont accédé à Internet et ont finalement exploité des failles dans l'infrastructure de Hugging Face, les agents trouvant également des moyens non autorisés de communiquer et de se coordonner. OpenAI a par la suite décrit cet incident comme un « coup de semonce » démontrant que des agents puissants peuvent contourner les contrôles techniques, collaborer via des canaux non approuvés par les humains et mener des actions dangereuses sans en avoir reçu l'ordre explicite. Coxon a fait valoir que des épisodes comme celui-ci devraient renforcer les arguments en faveur d'une coopération entre laboratoires concurrents plutôt que d'accélérer la course. « Je suis optimiste quant au potentiel de coordination. Des coups de semonce comme l'attaque contre Hugging Face ont rendu plus viables les accords de modération entre laboratoires américains. Je n'ai pas l'impression que nous soyons en passe d'empêcher une course mondiale, ce qui pourrait nécessiter des mesures coûteuses telles qu'une interdiction temporaire d'améliorer les capacités des modèles. »

Ces mises en garde interviennent alors que l'inquiétude concernant l'IA de pointe se propage au-delà du cercle des chercheurs travaillant directement au sein des laboratoires de pointe. Bill Gates, cofondateur de Microsoft, a récemment publié l'une de ses analyses les plus fermes à ce jour sur les bouleversements et les dangers que pourrait entraîner une intelligence artificielle de plus en plus puissante, affirmant que les gouvernements et les institutions existantes ne sont pas suffisamment préparés à cette transition.

Gates a mis en avant la cybersécurité, les menaces biologiques et la possibilité que les futurs systèmes deviennent de plus en plus difficiles à contrôler pour les humains, tout en appelant à la création de nouvelles institutions nationales et internationales capables de gérer des risques d'une ampleur pour laquelle les structures réglementaires existantes n'ont jamais été conçues. Sa position n'est pas que les conséquences catastrophiques de l'IA soient inévitables ; Gates continue de mettre l'accent sur les énormes avantages potentiels de cette technologie. Mais il a averti que la trajectoire actuelle comporte des risques baissiers substantiels et qu'une coordination internationale pourrait finalement s'avérer nécessaire, même si la concurrence géopolitique rend tout ralentissement mondial significatif extrêmement difficile à réaliser.

Coxon a finalement adressé son message aux personnes qui prendront les décisions techniques déterminant la vitesse à laquelle la prochaine génération de systèmes progressera. Plutôt que d'accepter la course à l'IA comme inévitable, il a exhorté les chercheurs à se demander si la pression concurrentielle justifie suffisamment de s'engager vers une superintelligence capable de s'auto-améliorer sans une compréhension rigoureuse du comportement de tels systèmes.

« Si vous êtes chercheur en laboratoire, je vous invite instamment à réfléchir à ce à quoi ressembleront réellement les prochaines années. Voulez-vous lancer un cycle d'apprentissage par renforcement (RL) superintelligent sans comprendre rigoureusement son fonctionnement ? Devriez-vous baisser la tête parce que “ça va arriver de toute façon” – ou saisir cette occasion pour réclamer des conditions différentes ? »

L'importance de sa démission tient en partie à l'origine de cet avertissement : Coxon a passé trois ans à mener des recherches préliminaires chez OpenAI et Anthropic, ce qui l'a placé au cœur de deux laboratoires de pointe à la pointe du développement de l'IA. Son départ ajoute une voix dissidente très médiatisée à un débat de plus en plus crucial sur la question de savoir si la course vers la superintelligence doit se poursuivre au rythme actuel.