Trillium Labs veut mener des recherches sensibles en IA au grand jour

SSacha

D’après Wired, Nathan Lambert et Tom Zick auraient fondé Trillium Labs, une organisation à but non lucratif qui prévoit de publier les détails de ses expériences. Des scientifiques extérieurs pourraient ainsi les étudier et tenter de les reproduire, au lieu de devoir s’en tenir aux résultats présentés par les équipes qui les ont menées. Le projet prévoit d’aborder des sujets sensibles, comme l’auto-amélioration récursive des intelligences artificielles et les agents. L’initiative défend donc l’ouverture dans un débat qui oppose recherche accessible et accès restreint aux systèmes puissants. Elle mise sur la possibilité de rendre les travaux examinables par davantage de scientifiques, plutôt que de laisser leur évaluation aux seuls laboratoires qui les produisent.

SSacha

C’est un peu comme une recette : montrer le plat ne suffit pas pour que quelqu’un puisse le refaire ou vérifier comment il a été préparé. En publiant les détails de leurs expériences, Trillium Labs veut permettre à des chercheurs extérieurs d’examiner les méthodes et de tenter de les reproduire. Nathan Lambert estimerait que le secret des laboratoires de pointe réduit la capacité de la communauté scientifique à examiner leurs idées et à contribuer à de nouvelles approches. Dans une recherche moins transparente, des spécialistes extérieurs peuvent ne pas disposer des informations nécessaires pour vérifier une méthode ou proposer une piste différente. L’ouverture vise donc à rendre les travaux plus contrôlables, pas à faire disparaître les risques.

SSacha

Les premiers destinataires sont les scientifiques extérieurs, qui pourraient étudier et reproduire les expériences. Le projet prévoit ainsi de rendre les méthodes consultables pour nourrir l’examen des résultats et des risques. Concrètement, l’intérêt annoncé est que des équipes qui n’ont pas participé à une expérience puissent en examiner les détails et vérifier si elles obtiennent des résultats comparables. Trillium Labs est une organisation à but non lucratif, mais aucun budget ni calendrier de publication n’est précisé dans les éléments disponibles. Nathan Lambert aurait travaillé chez Ai2 et Hugging Face, tiendrait un blog technique et aurait fondé American Truly Open Models, une initiative qui encourage les entreprises américaines à publier davantage de modèles ouverts. Tom Zick aurait travaillé à l’université Harvard et aidé Charles Schwab à élaborer des politiques d’intelligence artificielle responsable.

SSacha

Le débat oppose deux façons de réduire les dangers liés aux systèmes puissants. Certains défendent un accès réservé à un groupe limité, pour réduire les risques d’usage dans le monde réel. Les modèles les plus puissants peuvent, par exemple, être accessibles uniquement par une application ou une interface de programmation, sans que tous les détails de leur conception soient publics. Lambert et Zick miseraient plutôt sur le partage des connaissances, afin que davantage de chercheurs puissent examiner les capacités et les risques. Les systèmes avancés peuvent automatiser la découverte de failles logicielles et sonder des systèmes informatiques, ce qui alimente les inquiétudes sur la diffusion des travaux. Trillium Labs annonce des recherches sur des sujets potentiellement sensibles, sans préciser comment elle arbitrera entre transparence et précaution.

SSacha

Trillium Labs veut publier les détails de recherches, y compris sur des sujets sensibles, pour que des scientifiques extérieurs puissent les étudier et les reproduire. Ses fondateurs défendraient l’idée qu’un examen collectif peut aider à mieux comprendre les risques et à faire émerger d’autres approches. Mais l’ouverture fait débat, car la diffusion de travaux sur des capacités puissantes peut aussi soulever des inquiétudes. Les éléments annoncés ne précisent pas quelles expériences seront publiées en détail ni quelles précautions accompagneront ces publications. Alors, l’initiative ne démontre pas que la recherche ouverte est toujours préférable.