Richard Sutton estime que le calcul seul ne suffira pas à faire progresser l’intelligence artificielle

MMarc

Richard Sutton affirme que le calcul brut ne suffit pas à produire de l’intelligence et que la recherche en intelligence artificielle a encore besoin de méthodes nouvelles, selon The Decoder. Auteur de l’essai « The Bitter Lesson », il défend des agents dotés de modèles du monde, capables d’apprendre continuellement à partir de leur expérience. L’enjeu, dans cette approche, est que les agents puissent intégrer de nouvelles expériences sans perdre les connaissances acquises auparavant. Sutton met ainsi l’accent sur des systèmes qui apprennent dans la durée, plutôt que sur la seule augmentation du calcul consacré à l’entraînement. Il juge que le succès temporaire des transformeurs a conduit des chercheurs à mal interpréter la « leçon amère » de Sutton. Cette interprétation aurait privilégié la mise à l’échelle des transformeurs au détriment d’autres pistes de recherche. Les deux positions rappellent que l’augmentation des ressources de calcul ne rend pas le choix des méthodes secondaire : selon Tworek, plus le calcul d’entraînement augmente, plus le choix de l’algorithme compte. Sutton, de son côté, défend des agents capables de tirer continuellement des enseignements de leur expérience et de préserver leurs connaissances. Le point central est donc la recherche de méthodes d’apprentissage nouvelles, en complément de la puissance de calcul, et non son remplacement par une seule stratégie de mise à l’échelle.