Un chercheur d’Anthropic a démissionné en accusant les entreprises d’intelligence artificielle de mettre en danger l’humanité. Cette croyance est largement partagée dans le milieu, y compris par des …

« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing », a-t-il ajouté.

Un responsable de la sûreté d’Anthropic, Evan Hubinger, lui a donné raison sur X : « Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains », a-t-il écrit, estimant à titre personnel ce risque à « plus de 10% » dans la décennie.

Il a ajouté qu’Anthropic faisait « de son mieux » mais n’avait « pas encore de plan » pour s’assurer qu’une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant « faible » le risque posé par les modèles actuels.

La démission de Jacob Coxon intervient alors qu’Anthropic prépare une entrée en Bourse géante, après un été marqué par des piratages menés, sans autorisation, par des outils d’IA en test de plusieurs laboratoires.

Il juge sincères les efforts d’Anthropic, mais estime qu’aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l’intervention des Etats ou un ralentissement coordonné.

« Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers: ils pensent que personne d’autre n’agira de façon responsable, donc qu’ils doivent le faire eux-mêmes, malgré le risque », a-t-il écrit.

En février, Anthropic a retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques. Au motif qu’une pause unilatérale laisserait les acteurs les moins prudents dominer la compétition, sans contre-pouvoirs.

Fin juillet, plus d’un millier d’employés du secteur, dont le patron d’Anthropic Dario Amodei, ont demandé à Washington de préparer un mécanisme de freinage. OpenAI a suspendu deux semaines en août une partie de ses entraînements et Anthropic a appelé l’industrie à adopter « dès que possible » un mécanisme « vérifiable » de ralentissement coordonné.