Paolo Benanti avertit contre un « cartel » des grands laboratoires d'IA

Un conseiller du Vatican réclame une régulation démocratique

Les avertissements de chercheurs issus des plus grands laboratoires d'intelligence artificielle sur la vitesse du développement ont nourri ces derniers mois des inquiétudes sur un possible anéantissement de l'humanité. Ces mises en garde reposent sur l'idée que la concurrence et la rivalité entre les États-Unis et la Chine poussent ces entreprises vers des modèles superintelligents, dont les capacités dépasseraient largement celles de l'homme.

Pour le père Paolo Benanti, prêtre qui conseille l'Église catholique sur l'IA, cette focalisation sur la superintelligence détourne d'un débat ouvert sur les moyens de contraindre les entreprises qui construisent la technologie. Selon lui, en présentant le problème comme trop complexe pour être résolu ailleurs que chez eux, les grands laboratoires excluent tout le monde de la discussion, rapporte Wired.

« L'éthique ne peut pas être la propriété du conseil d'administration d'une entreprise. Elle doit être équilibrée, atténuée par le débat dans l'espace public », déclare Benanti à Wired. « Nous avons besoin d'une régulation démocratique. »

Des normes de contrôle plutôt que des restrictions de méthode

Dans un essai publié dans la foulée des avertissements sur la sécurité, le patron d'Anthropic, Dario Amodei, a plaidé pour que les nouveaux modèles d'IA fassent l'objet d'évaluations obligatoires par des tiers avant leur mise sur le marché, et pour une répression de la distillation, procédé par lequel des laboratoires rivaux entraînent leurs propres IA sur les productions de modèles propriétaires. D'autres ont défendu une interdiction pure et simple de l'auto-amélioration récursive, où une IA met ses capacités de codage avancées au service du développement de ses futures versions.

Benanti s'intéresse moins aux restrictions sur les méthodes de développement, qu'il craint de voir étouffer l'innovation, qu'à l'établissement de standards garantissant que les modèles ne puissent échapper au contrôle humain. Quelle que soit leur forme, ces standards ne doivent pas être conçus par les laboratoires eux-mêmes, estime-t-il.

« Le récit des laboratoires de pointe est intéressé : il s'agit de gagner ou de conserver une position sur le marché », affirme-t-il. Quand un petit groupe d'entreprises dicte les règles d'un secteur, cela porte selon lui « un nom très clair : un cartel ».

Un discours sur la superintelligence jugé trompeur

Il est difficile de savoir quel crédit accorder aux grandes déclarations sur les capacités des modèles actuels et futurs, selon Benanti, en raison de la superposition d'intérêts économiques, politiques et personnels.

OpenAI et Anthropic ont beau avoir soutenu les appels à un ralentissement du développement, ils se préparent aussi à une introduction en bourse, et les milliards de dollars en jeu sont considérables pour qui s'emparera du marché. L'animosité entre les États-Unis et la Chine, où sont développés les modèles les plus avancés, brouille également le tableau. Anthropic a refusé de commenter. OpenAI et Google DeepMind n'ont pas répondu aux sollicitations.

Benanti critique aussi la manière dont certains pans de l'industrie parlent de la superintelligence, avec une révérence habituellement réservée à une divinité : comme d'une sophistication hors de notre portée, pratiquement omnipotente. (Le patron d'OpenAI, Sam Altman, a un jour dit aspirer à construire une « intelligence magique dans le ciel ».) Ce cadrage menace selon lui de fausser le discours sur la technologie.

« Parlons-nous d'une chose, ou de quelqu'un ? C'est là la vraie différence. Ce n'est pas une question de foi, c'est une question de mathématiques », dit-il. « Nous ne construisons pas la prochaine divinité. Nous nous illusionnons simplement en croyant qu'il y a autre chose qu'un calcul statistique. »

L'encyclique du pape Léon comme cadre

En soulevant des questions sur ce qui sépare l'homme de la machine et sur la protection des générations futures contre les effets négatifs de la technologie, l'arrivée de l'IA peut créer « un nouveau rôle pour les religions dans le débat public », selon Benanti. « Vivre le défi de son temps fait partie de la mission de l'Église. »

Même s'il appartient au clergé, Benanti ne représente pas formellement le Saint-Siège, l'organe de gouvernement de l'Église catholique. Il conseille l'Église en sa qualité d'universitaire en philosophie, théologie et technologie. Il indique à Wired utiliser l'IA pour créer des outils et des supports destinés à ses étudiants, mais refuse de préciser comment le pape Léon XIV se sert de cette technologie, le cas échéant. Son équipe indique qu'il est tenu par un « serment de secret ».

En mai, le pape Léon a publié sa première encyclique, une lettre qui applique les enseignements religieux aux problèmes du temps et précise la position de l'Église. Il a choisi l'intelligence artificielle pour sujet.

Dans ce texte, le pape met en garde contre la logique technocratique qui traverse le secteur de l'IA, laquelle présente « l'efficacité comme la mesure ultime de la valeur » et dépeint l'être humain comme « un projet à optimiser ». Il appelle aussi à une collaboration internationale entre superpuissances rivales et entreprises d'IA, qui doivent selon lui écarter le « désir d'assurer une domination géopolitique ou commerciale » pour que la technologie serve le bien commun. Dans un passage particulièrement prémonitoire, il avertit du « danger que l'humanité devienne victime de ses propres réalisations ».

La controverse sur la superintelligence et le risque existentiel menace de détourner l'attention des ambitions exposées dans l'encyclique, selon Benanti, en incitant les citoyens à céder leur mot à dire sur l'orientation de la technologie à un petit groupe de mathématiciens, d'informaticiens et de dirigeants des grands laboratoires.

« La première chose, c'est qu'il nous faut des freins et un volant », dit-il. « Cela signifie une position de contrôle significative des êtres humains sur la machine. »