Llama 3, une famille de modèles

LLéna

Meta présente Llama 3, une famille de modèles conçue pour le multilinguisme, le code, le raisonnement et l’utilisation d’outils. La publication, déposée mardi sur arXiv, examine ces modèles et pose notamment la question de leurs performances face aux systèmes les plus avancés. Pour imaginer l’intérêt d’une fenêtre de contexte, pensez à une table où l’on peut étaler les informations utiles avant de répondre. Plus la table est grande, plus le modèle peut prendre en compte de texte au même moment. Le plus grand modèle de Llama 3 dispose d’une fenêtre pouvant atteindre 128 000 tokens. Cette capacité décrit la quantité de texte prise en compte, pas la garantie que chaque information sera utilisée correctement. Ce modèle compte aussi 405 milliards de paramètres. On peut les imaginer comme de nombreux réglages internes qui participent à la production des réponses. La publication le décrit comme un Transformer dense. Elle ne précise pas ici davantage ce que cette caractéristique implique dans chaque tâche. Ces chiffres donnent donc une idée de l’échelle du modèle, mais ne suffisent pas, à eux seuls, à établir la qualité de ses réponses. Le résultat principal porte sur une comparaison avec GPT-4. Selon l’article, Llama 3 obtient des résultats comparables sur de nombreuses tâches. Cela ne signifie pas que les deux systèmes sont identiques, ni que leurs performances sont équivalentes dans toutes les situations. Meta annonce la mise à disposition publique de Llama 3, avec des versions pré-entraînée et post-entraînée du modèle de 405 milliards de paramètres. Meta annonce aussi Llama Guard 3, destiné à la sécurité des entrées et des sorties.