Chez Google DeepMind, Kareem Ayoub prône un « périmètre » pour encadrer l'IA

Un « périmètre déterministe » plutôt qu'un contrôle total

Les entreprises ne peuvent pas gouverner entièrement les systèmes d'intelligence artificielle, mais elles peuvent leur imposer un cadre fixe. C'est la position défendue par Kareem Ayoub, vice-président de Google DeepMind chargé de la stratégie technique en matière d'IA, lors de la conférence HumanX à Amsterdam, selon The Next Web.

Il a pris pour référence les banques de la fin des années 1980 et du début des années 1990. Ces établissements avaient enfermé leurs algorithmes de trading dans des règles figées, qu'ils pouvaient vérifier.

« Vous ne pouvez peut-être pas gouverner entièrement le système lui-même, mais vous pouvez construire autour de lui un périmètre de gouvernance déterministe », a-t-il déclaré à propos de cette approche bancaire.

Trois questions et un cadre de sécurité

Interrogé par Tom Mackenzie, de Bloomberg, Kareem Ayoub a présenté le débat sur la sécurité de l'IA comme une tension entre des capacités qui progressent de façon exponentielle et une gouvernance qui avance de façon linéaire.

Il a décomposé le problème en trois volets : la place que l'IA doit occuper dans la recherche et le développement, le degré de transparence exigé des systèmes, et la question de savoir qui les contrôle. Le Frontier Safety Framework de Google, qui fixe des seuils de capacités et les mesures d'atténuation associées, constitue selon lui une partie de la réponse.

Mackenzie a rappelé que Dario Amodei, chez Anthropic, veut ralentir la course à la frontière technologique, et que Demis Hassabis a appelé à un régulateur piloté par l'industrie, sur le modèle du FINRA, l'organisme américain de surveillance du courtage. Pour Kareem Ayoub, les garde-fous exigeront des partenariats qui dépassent le seul secteur technologique.

Un écart entre la frontière et les usages en entreprise

Kareem Ayoub décrit un décalage entre ce que la technologie sait faire et la manière dont les entreprises l'emploient. À la frontière, elle accélère la découverte de médicaments, aide à traduire des textes anciens et contribue à la détection des ondes gravitationnelles. Dans les organisations, l'usage se concentre souvent sur la rédaction ou le résumé de courriels.

Le basculement du modèle vers l'agent comme produit a commencé, selon lui, vers la fin de 2025. Un agent enveloppe un modèle dans de la mémoire, des outils et un accès à internet, ce qui lui permet de mener des tâches longues en plusieurs étapes. Les gains les plus nets s'observent aujourd'hui dans l'ingénierie logicielle, précise-t-il.

Quatre habitudes chez les entreprises qui réussissent

Les meilleures entreprises avec lesquelles il travaille partagent quatre pratiques, selon lui. Elles mettent rapidement en place des environnements de test sécurisés au lieu d'attendre des projets informatiques de plusieurs années. Elles ne parient pas contre les progrès des modèles. Elles mesurent ce qui compte pour elles. Et leurs dirigeants utilisent eux-mêmes les outils.

« Les meilleures entreprises se demandent : ce que je construis sera-t-il dix fois meilleur si le modèle sous-jacent est dix fois meilleur ? », a-t-il dit.

À l'inverse, les entreprises échouent lorsqu'elles récompensent leurs salariés pour avoir dissimulé leur recours à l'IA, ou lorsque leurs dirigeants ne s'en servent que superficiellement. À mesure que le coût de l'intelligence baisse, il espère que les dépenses iront davantage au contrôle des résultats qu'à la production de contenus supplémentaires.

Gouvernance, morale et avenir du laboratoire

En clôture, Tom Mackenzie a interrogé Kareem Ayoub sur le moral des équipes. Il a évoqué des chercheurs partis cette année et le passage de Demis Hassabis à la présidence. Google a confié en août la direction de son pôle IA à Koray Kavukcuoglu, en Californie.

Kareem Ayoub a répondu avoir peu à ajouter à ce qui a déjà été rapporté. Il a rappelé que l'AGI est la mission de vie de Demis Hassabis, et que celui-ci avait déclaré lors de Google I/O qu'avec le recul, nous comprendrions probablement que nous étions dans « les contreforts de la singularité ». Il a aussi souligné la dynamique autour du programme Gemini, dirigé par Koray Kavukcuoglu.

DeepMind a lancé ce mois-ci le DeepMind Institute pour débattre de l'AGI. D'anciens chercheurs de DeepMind montent par ailleurs leurs propres entreprises, dont Emulate, une startup de modèles du monde.

« L'avenir n'est plus un défi de prévision. Il devient un problème de conception », a conclu Kareem Ayoub.