Falcon-Emirati-7B cible l’arabe émirati

MMarc

Hugging Face présente Falcon-Emirati-7B, un modèle de 7 milliards de paramètres conçu pour comprendre et générer l’arabe émirati. Il vise à mieux prendre en compte le vocabulaire, le ton et le contexte culturel propres à ce dialecte, afin d’en traiter les usages plutôt que de s’appuyer uniquement sur des capacités générales en arabe. Le modèle est construit à partir de Falcon-H1-Arabic, dans sa version de 7 milliards de paramètres, puis spécialisé pour l’arabe émirati. Cette base repose sur une architecture hybride qui associe Mamba, une approche fondée sur des modèles d’espace d’état, et l’attention Transformer. La famille Falcon-H1-Arabic comprend aussi des versions de 3 et de 34 milliards de paramètres, autour de celle de 7 milliards. Ses fenêtres de contexte peuvent atteindre 128 000 ou 256 000 tokens, des capacités qui concernent cette famille de modèles et ne décrivent pas à elles seules les performances du modèle émirati. Falcon-Emirati-7B combine ainsi une base de cette famille avec une adaptation à un dialecte précis, en reprenant le format de 7 milliards de paramètres plutôt que les variantes plus petites ou plus grandes de Falcon-H1-Arabic.