Richard Sutton relance le débat sur les limites du scaling des modèles d’IA

SSacha

Dans une nouvelle publication, Richard Sutton affirme que le calcul brut ne suffit pas à produire de l’intelligence et que la recherche en intelligence artificielle a encore besoin de méthodes nouvelles, d’après The Decoder. Son propos ne consiste pas à déclarer que les modèles de langage doivent cesser d’être entraînés ; il conteste plutôt l’idée que l’augmentation du calcul, à elle seule, constitue une réponse suffisante. Sutton considère que la science de l’intelligence artificielle est loin d’être achevée. Il invite donc à étudier des méthodes qui puissent tirer parti des ressources de calcul, au lieu de supposer que leur augmentation fera automatiquement apparaître toutes les capacités recherchées. Pour comprendre l’enjeu, il faut distinguer la quantité de ressources consacrées à l’entraînement et les algorithmes qui permettent de les utiliser. Le débat porte sur leur rôle respectif dans les progrès des systèmes, et sur les voies qui restent à explorer. C’est une nuance importante : remettre en question une stratégie dominante ne signifie pas que ses résultats sont inexistants, mais que ces résultats ne règlent pas nécessairement toutes les questions de recherche.

SSacha

Cette discussion renvoie à la « leçon amère » défendue par Sutton : au fil du temps, les méthodes générales qui profitent de davantage de calcul peuvent dépasser des approches conçues avec beaucoup de règles et d’hypothèses humaines. Mais cette idée ne signifie pas que toutes les méthodes passent à l’échelle de la même façon. Jerry Tworek estime que plus le calcul consacré à l’entraînement augmente, plus le choix de l’algorithme devient déterminant. Certains algorithmes peuvent continuer à progresser avec davantage de ressources, tandis que d’autres peuvent atteindre des limites ; Tworek considère aussi que les dimensions de cette mise à l’échelle restent largement inexplorées. Il estime que le succès temporaire des transformeurs a encouragé une lecture trop générale de la leçon de Sutton. Autrement dit, un succès technique ne suffit pas à prouver que la même recette convient à toutes les tâches ni qu’il n’existe pas d’autres voies. La question n’est donc pas seulement de mobiliser plus de calcul, mais de comprendre quelles idées peuvent réellement en bénéficier et lesquelles méritent encore d’être testées.

SSacha

Sutton défend des agents dotés de modèles du monde, capables d’apprendre continuellement de leur expérience sans perdre leurs connaissances antérieures. On peut se représenter un tel agent comme un système qui ne se limite pas à utiliser ce qu’il a appris pendant une phase d’entraînement, mais qui peut aussi tenir compte de ce qu’il rencontre ensuite. L’idée est qu’il apprenne à partir de son expérience et conserve ses acquis au lieu d’effacer ce qu’il savait déjà. C’est un point central : apprendre quelque chose de nouveau ne devrait pas rendre le système incapable de mobiliser ses connaissances précédentes. Un modèle du monde et un apprentissage continu constituent donc une orientation de recherche, et non une capacité déjà démontrée comme solution générale. Cela laisse ouvertes des difficultés importantes, notamment la manière d’apprendre de nouvelles choses tout en préservant les connaissances déjà acquises.

SSacha

Core Automation, dirigé par Jerry Tworek, étudie des algorithmes qui dépassent le pré-entraînement et l’apprentissage par renforcement, et Richard Sutton participe à cette dynamique avec Oak Lab, d’après Brief IA. Le même média évoque 45 nouveaux laboratoires qui exploreraient des voies alternatives au scaling massif. Ce nombre est à présenter avec prudence : aucun inventaire ni détail sur le périmètre de ces structures n’est fourni pour le vérifier. Les éléments disponibles permettent donc de citer Core Automation et Oak Lab, mais pas de dresser une liste complète de ces initiatives. Ils ne permettent pas non plus de mesurer les moyens engagés par les laboratoires ou les résultats déjà obtenus. Ce qui est décrit, c’est une recherche d’algorithmes au-delà de deux approches courantes, le pré-entraînement et l’apprentissage par renforcement. Cette démarche montre que des équipes cherchent à tester d’autres méthodes ; elle ne prouve pas qu’elles ont déjà trouvé une solution plus efficace. L’intérêt de ces travaux est précisément de poser des questions sur la façon dont les systèmes pourraient apprendre autrement, sans transformer une piste de recherche en résultat acquis.

SSacha

Sutton critique le recours aux données synthétiques, qu’il juge insuffisantes pour représenter la complexité du monde réel. Son raisonnement est que des exemples fabriqués ne peuvent pas restituer toute la variété des situations réelles. Il considère aussi que l’expertise humaine peut devenir un goulot d’étranglement : si la conception du système dépend trop de ce que des spécialistes savent prévoir et formaliser, cette intervention limite la possibilité d’étendre l’apprentissage. Il cite un modèle d’OpenAI qui aurait réfuté une conjecture mathématique longtemps irrésolue. Cet exemple est avancé pour soutenir que ces modèles peuvent encore accomplir des tâches difficiles, mais il ne tranche pas à lui seul la question de savoir si le scaling répondra à tous les besoins. Le désaccord concerne donc la portée à donner aux succès actuels et la place à accorder, en parallèle, à de nouvelles méthodes.

SSacha

Il faut retenir que Sutton ne présente pas le calcul comme inutile : il affirme qu’il ne suffit pas, à lui seul, à produire de l’intelligence, et que la recherche a encore besoin de méthodes nouvelles. Il défend des agents capables d’apprendre continuellement de leur expérience sans perdre leurs connaissances antérieures. Il critique les données synthétiques, qu’il juge incapables de représenter toute la complexité du monde réel, et considère que l’expertise humaine peut limiter l’extension de l’apprentissage. En face, Sam Altman estime que le scaling des modèles de langage n’a pas atteint son plafond, et Dario Amodei défend également la poursuite de cette approche. Jerry Tworek souligne, lui, que le choix de l’algorithme devient plus déterminant à mesure que le calcul d’entraînement augmente. Enfin, Core Automation et Oak Lab illustrent la recherche d’autres voies, tandis que le chiffre de 45 laboratoires reste rapporté sans éléments suffisants pour être vérifié. Aucune de ces informations ne permet de conclure qu’une seule méthode fera progresser l’intelligence artificielle. Le débat reste ouvert : il porte à la fois sur la capacité du scaling à continuer de produire des progrès et sur les méthodes qui permettraient aux systèmes d’apprendre autrement.