Kolibri-1, le modèle ouvert d’Aleph Alpha

NNoor

D’après AlphaSignal, Aleph Alpha a publié Kolibri-1 sous licence Apache 2.0. C’est un modèle à poids ouverts, conçu en priorité pour raisonner en allemand et en anglais. Son architecture contient 78,1 milliards de paramètres, mais elle n’en active qu’environ 3,46 milliards pour traiter chaque jeton. L’idée est de conserver la capacité d’un modèle de grande taille tout en limitant les calculs nécessaires à chaque étape de génération. Cela ne signifie pas pour autant que le modèle soit léger à installer : tous ses poids doivent être conservés en mémoire, même si seule une partie intervient sur un jeton donné. L’ouverture de la licence peut intéresser des organisations qui veulent héberger le modèle sur leur propre infrastructure et l’adapter à leurs usages. Mais la publication ne suffit pas, à elle seule, à établir que Kolibri-1 conviendra à tous les projets, ni que ses résultats seront identiques dans chaque langue et chaque contexte.

NNoor

Alors, dans une architecture à mélange d’experts, le modèle ne fait pas passer chaque jeton par l’ensemble de ses réseaux de calcul. Un mécanisme de routage dirige le jeton vers une partie de ces réseaux, ce qui réduit le volume de calcul effectué pour cette étape. C’est ainsi qu’Aleph Alpha peut annoncer 3,46 milliards de paramètres actifs par jeton, alors que le modèle en compte 78,1 milliards au total. Il faut distinguer ce coût de calcul de la mémoire nécessaire pour stocker les paramètres : les poids complets restent à héberger. La mémoire augmente aussi avec la longueur du contexte, le nombre de requêtes traitées ensemble et la capacité à servir plusieurs utilisateurs en parallèle. En pratique, cette architecture peut donc rendre l’inférence moins coûteuse en calcul qu’un modèle dense de taille comparable, mais elle ne supprime pas les besoins matériels. Le gain réel dépend de la configuration, du logiciel d’exécution et de la charge de travail.

NNoor

La licence Apache 2.0 et les poids ouverts visent notamment les organisations qui souhaitent faire tourner un modèle sur leur propre infrastructure, plutôt que de dépendre uniquement d’un service hébergé par un fournisseur. Aleph Alpha indique que les poids au format FP8 occupent environ 78 gigaoctets. L’entreprise cite une carte graphique H200, B200 ou B300, ou encore 2 cartes H100, comme configurations possibles ; elle mentionne aussi un minimum de 2 cartes A100 de 80 gigaoctets. Ces indications concernent d’abord le stockage des poids, et ne décrivent pas à elles seules une installation complète en production. Il faut également réserver de la mémoire au contexte, aux requêtes simultanées et aux outils utilisés autour du modèle. Une équipe doit donc tester la configuration correspondant à son trafic et à ses documents, au lieu de se fonder uniquement sur la taille annoncée du fichier. Le format ouvert donne une marge de contrôle, mais exploiter cette marge demande des compétences et des moyens d’infrastructure.

NNoor

Non, il faut distinguer la longueur validée et la longueur d’entraînement native. Aleph Alpha a validé une fenêtre allant jusqu’à 1 048 576 jetons, mais le modèle a été entraîné nativement jusqu’à 262 144 jetons. L’entreprise recommande de rester à cette longueur native pour les tâches complexes et pour conserver un service efficace. Au-delà, la capacité a été étendue, mais les performances pratiques doivent être évaluées sur des documents représentatifs. Une fenêtre plus grande peut permettre de présenter davantage de texte en une seule fois ; elle ne garantit pas que le modèle retrouvera toujours l’information pertinente, ni qu’il l’interprétera correctement. L’utilisation d’un long contexte peut aussi augmenter la consommation de mémoire et la latence. Pour une organisation, le bon test consiste donc à mesurer la précision de récupération, le temps de réponse et les ressources nécessaires sur ses propres tâches. Le chiffre du million décrit une limite validée, pas une promesse d’efficacité uniforme à cette longueur.

NNoor

Aleph Alpha indique avoir entraîné Kolibri-1 à partir de zéro sur 20 000 milliards de jetons, avec 768 processeurs graphiques B200. Le modèle utilise aussi UniBPE, un tokenizer conçu notamment pour mieux prendre en compte la morphologie allemande, c’est-à-dire la façon dont les mots se construisent et varient dans cette langue. Cela renseigne sur les choix de conception, sans prouver à lui seul une supériorité générale en allemand. Pour les usages de génération augmentée par récupération, souvent désignés par le sigle anglais RAG, Aleph Alpha présente un protocole d’apprentissage par renforcement appelé Merlin-Arthur. Son objectif annoncé est de réduire les hallucinations lorsque le modèle produit une réponse à partir de documents récupérés. C’est une promesse importante pour les systèmes qui doivent s’appuyer sur des sources, mais elle demande une évaluation indépendante sur des tâches concrètes. Il reste à vérifier dans quelles conditions le protocole améliore effectivement la fidélité aux documents, et comment il se compare aux méthodes déjà utilisées.

NNoor

AlphaSignal rapporte plusieurs résultats : 96,9 à AIME 2025, 84,3 à GPQA Diamond en anglais, 66,4 à SWE-Bench Verified et 85,9 à LiveCodeBench version 6. Ces scores couvrent des épreuves différentes, liées notamment au raisonnement, aux sciences et au code. Ils donnent des repères sur les évaluations citées, mais ils ne suffisent pas à prédire la qualité des réponses dans une entreprise ou pour un public donné. Les comparaisons dépendent des protocoles, des versions des tests et des conditions d’exécution. Les résultats et les capacités de réduction des hallucinations sont rapportés par la source et restent à apprécier indépendamment. Pour Merlin-Arthur, il faudra notamment observer si les réponses restent bien ancrées dans les documents fournis, y compris lorsque ceux-ci sont incomplets ou ambigus. Pour les scores, l’enjeu sera de les compléter par des essais reproductibles et des usages réels. Il faut donc les lire comme des résultats annoncés, et non comme une garantie de performance universelle.

NNoor

Kolibri-1 combine un modèle ouvert sous licence Apache 2.0, une architecture à mélange d’experts et une orientation allemande et anglaise. Son faible nombre de paramètres actifs par jeton ne doit pas masquer les besoins de mémoire liés à l’ensemble des poids, ni les ressources supplémentaires nécessaires au contexte et à la charge en production. La fenêtre validée jusqu’à un million de jetons est notable, mais la longueur d’entraînement native, 262 144 jetons, reste le repère recommandé par Aleph Alpha pour les tâches complexes et l’efficacité. Le protocole Merlin-Arthur et les scores publiés sont également à considérer comme des annonces à vérifier, pas comme des garanties déjà établies. Une organisation intéressée peut commencer par tester ses propres documents, mesurer la qualité des réponses et la latence, puis estimer les coûts matériels dans les conditions réelles d’utilisation. C’est ce passage entre les résultats annoncés et les essais indépendants qui permettra de savoir si le modèle répond à ses besoins. L’ouverture donne un accès plus direct au déploiement, mais elle ne dispense ni de l’évaluation ni du travail d’intégration.