Meta présente Llama 3

MMarc

Meta présente Llama 3, une famille de modèles de fondation conçue pour le multilinguisme, le code, le raisonnement et l’utilisation d’outils, selon arXiv. La famille rassemble donc des modèles destinés à plusieurs types de tâches, depuis le traitement de plusieurs langues jusqu’au code et au raisonnement. Elle couvre aussi l’utilisation d’outils, parmi les capacités annoncées par Meta. Le plus grand modèle est un Transformer dense de 405 milliards de paramètres. Sa fenêtre de contexte peut atteindre 128 000 tokens ; ce chiffre correspond à la capacité maximale de contexte indiquée pour ce modèle. Selon l’article, Llama 3 obtient des résultats comparables à GPT-4 sur de nombreuses tâches, sans que cette comparaison établisse une équivalence générale entre les deux modèles. Meta annonce la mise à disposition publique de Llama 3, notamment des versions pré-entraînée et post-entraînée de son modèle de 405 milliards de paramètres. Meta annonce également Llama Guard 3, consacré à la sécurité des entrées et des sorties, aux côtés des modèles de la famille Llama 3.