Thinking Machines lance Inkling 2 Small

LLéna

Jeudi, Thinking Machines a lancé Inkling 2 Small, un modèle à experts spécialisés de 594 milliards de paramètres, selon AlphaSignal. Le modèle accepte les images et permet de régler l’effort d’inférence, c’est-à-dire les ressources de calcul mobilisées pour produire une réponse. Sur ses 594 milliards de paramètres, 17 milliards sont actifs par jeton : le modèle ne mobilise donc qu’une partie de ses experts à chaque étape de traitement. Inkling 2 Small obtient un score de 31 à l’Artificial Analysis Intelligence Index et se distingue en programmation, en vision et dans les tâches de connaissance. Il est accessible sur Tinker pour l’inférence et l’ajustement fin, qui consiste à adapter un modèle à des usages particuliers. Ses poids ne sont pas encore publics, dans l’attente de la fin de tests de sécurité externes ; Thinking Machines prévoit ensuite de les publier sous licence Apache 2.0. Cette publication reste donc conditionnée à ces évaluations, et les utilisateurs ne peuvent pas encore télécharger les poids du modèle. Pour son entraînement par renforcement conjoint, plus de 17 millions de trajectoires ont été produites en neuf jours. Thinking Machines indique aussi que ses scores internes de comportements indésirables sont passés de 66,8 à 14,9 grâce à des récompenses d’alignement et à une distillation à partir d’un modèle enseignant doté d’une spécification de conduite.