Le papier du jour

K2-Horizon, six modèles ouverts

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Ondine

Les auteurs de K2-Horizon présentent 6 modèles de langage entièrement ouverts et cherchent à améliorer leur capacité à raisonner et à accomplir des tâches en plusieurs étapes, comme programmer ou utiliser des outils. La flotte couvre des tailles très différentes. Le plus petit modèle compte 0,9 milliard de paramètres, et le plus grand en compte 375 milliards, dont 23 milliards sont activés. Les modèles visent notamment les mathématiques, les sciences, la programmation, la recherche approfondie et l’automatisation de tâches de bureau. Pour rendre ces modèles plus efficaces, les auteurs proposent deux changements dans la façon dont ils traitent l’attention, c’est-à-dire les éléments qu’ils privilégient pour produire une réponse. Le premier, Mixture-of-Value Attention, ou MoVA, applique un mélange d’experts aux valeurs de l’attention. Le second changement ajoute un mécanisme de contrôle de l’attention fondé sur softplus. Le modèle K2-Horizon 36B-A4B combine ces deux méthodes. D’après les auteurs, il approcherait les performances d’un modèle dense de 32 milliards de paramètres entraîné sur les mêmes données, avec 7 fois moins de paramètres actifs. Autrement dit, le nombre de paramètres mobilisés pour produire une réponse serait bien inférieur, sans que les performances rapportées s’éloignent beaucoup de celles de ce modèle de comparaison. Les auteurs présentent aussi Uno, des adaptateurs de diffusion annoncés comme sans perte. Ils affirment que cette méthode pourrait accélérer le décodage, c’est-à-dire la production des réponses, jusqu’à 2,2 fois, sans modèle distinct chargé de proposer des réponses provisoires. Enfin, ils disent que leurs modèles sont en tête ou compétitifs face à des modèles ouverts de taille comparable lors d’évaluations de programmation et d’agents.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.