Le papier du jour

Beam, un grand modèle pensé pour le code et le raisonnement

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Léna

Un rapport de recherche présente Beam, un modèle conçu pour le code, le raisonnement et les tâches où une intelligence artificielle agit en plusieurs étapes. La question posée est celle de ses capacités dans ces usages, et du calcul nécessaire pour produire ses réponses. Beam compte 501,3 milliards de paramètres au total, dont 23,4 milliards sont actifs. C’est un modèle à mélange d’experts : imaginez une grande équipe, organisée en spécialistes, dont le modèle mobilise une partie pour traiter une tâche. Cette comparaison aide à comprendre pourquoi le nombre total de paramètres ne correspond pas au nombre de paramètres actifs. Elle ne permet pas, à elle seule, de conclure à la qualité des réponses. Pour apprendre, Beam a été préentraîné sur 23 800 milliards de tokens, des unités de texte ou de code utilisées par les modèles. Il dispose aussi d’une fenêtre de contexte d’un million de tokens. Autrement dit, le modèle peut prendre en compte un volume très important d’informations dans son contexte. Le rapport attribue cette fenêtre à une phase d’entraînement intermédiaire menée en deux étapes. Le rapport décrit ensuite un apprentissage par renforcement, une méthode qui entraîne le modèle à partir de nombreux essais et de leurs résultats. Cette phase a mobilisé 10 500 processeurs graphiques GB300 pendant quatre semaines et produit plus de 100 millions de tentatives. L’ampleur de ces moyens donne une idée du travail consacré à cette étape, sans prouver à elle seule l’efficacité du modèle. Selon les auteurs, Beam atteint un niveau de raisonnement de pointe, avec trois à quatre fois moins de calcul à l’inférence que de nombreux modèles de sa catégorie. L’inférence désigne le calcul nécessaire pour générer une réponse. Cette comparaison reste une revendication des auteurs : elle ne signifie pas que Beam est meilleur dans tous les usages. Enfin, le rapport est déposé sur arXiv.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.