Jais 3, des modèles d’agents en arabe

MMarc

Jais 3 rassemble 6 modèles de langage ouverts, conçus pour accomplir des tâches en arabe au-delà d’une simple réponse écrite. La famille va de 0,9 à 375 milliards de paramètres. La publication qui les présente a été déposée mardi sur arXiv, selon la plateforme de prépublications. L’idée est de confier à l’assistant plusieurs étapes d’une même tâche. Jais 3 peut planifier une tâche, rechercher des informations sur le Web, utiliser un terminal et appeler des outils ou des serveurs du protocole Model Context Protocol, abrégé en M C P. Il peut aussi lire, modifier ou créer des fichiers PDF, des feuilles de calcul et des présentations, tout en communiquant en arabe. Il est donc conçu pour agir sur des outils et des documents, en plus de répondre en texte. Pour construire ces modèles, l’équipe part de la flotte ouverte K2 Horizon et l’adapte à l’arabe, plutôt que de recommencer l’entraînement depuis le début. Elle poursuit d’abord l’entraînement des modèles, puis les affine par apprentissage supervisé. Elle applique ensuite une optimisation des préférences de jetons, puis un apprentissage par renforcement avec des récompenses vérifiables. Ces méthodes servent à adapter les modèles à des tâches en arabe, tout en travaillant leur capacité à suivre des consignes et à utiliser des outils. Les auteurs indiquent aussi avoir mélangé des textes arabes naturels, traduits, translittérés et synthétiques. Ils disent avoir réutilisé une partie des données d’entraînement initiales pour préserver les capacités de raisonnement, d’action et d’usage de l’anglais. Jais 3 couvre l’arabe standard et les principaux dialectes régionaux. Dans les évaluations présentées dans la prépublication, Jais 3 égale ou dépasse des modèles ouverts de taille comparable sur des tests en arabe et des tâches d’agent. Les auteurs signalent également de solides résultats pour l’usage d’outils et le suivi d’instructions en arabe, ainsi que moins d’hallucinations, c’est-à-dire de réponses erronées présentées comme vraies. Ces résultats sont ceux des évaluations décrites dans la prépublication.