Artificial Analysis lance un comparateur de modèles d’intelligence artificielle

OOndine

Artificial Analysis met à disposition un comparateur qui permet d’évaluer côte à côte jusqu’à 5 modèles de langage. L’outil rassemble plusieurs critères pour examiner les modèles sous des angles différents : leur intelligence, leur prix, leur vitesse de génération, leur latence et la taille de leur fenêtre de contexte. Il présente notamment l’Artificial Analysis Intelligence Index, ainsi que des évaluations comme AA-Briefcase et AA-Omniscience. Les résultats ne se limitent donc pas à une mesure générale des performances : le comparateur affiche aussi les coûts par tâche et les tarifs d’entrée et de sortie. Il détaille également la vitesse de sortie, la taille du contexte et le délai avant le premier jeton, c’est-à-dire le temps d’attente avant le début de la réponse. La vitesse de bout en bout est estimée à partir du temps nécessaire pour produire 500 jetons. Cette estimation prend en compte le délai avant le premier jeton, le temps de réflexion des modèles de raisonnement et leur vitesse de génération. La comparaison peut ainsi mettre en regard jusqu’à 5 modèles sur des critères de performance, de coût et de rapidité, tandis que la mesure complète du temps de réponse repose sur une génération de 500 jetons.