Journal de 23 h · 23 octobre

MMarc

Epoch AI a évalué 6 modèles sur 11 tâches réalistes inspirées de son propre travail, dans 5 domaines. Aucun n’a satisfait de manière fiable aux exigences de qualité de l’organisation, selon Epoch AI. Claude Fable 5.1 et GPT-6 Astra arrivent à peu près à égalité en tête. Les modèles fermés de pointe s’en sortent mieux lorsque les consignes sont bien définies, notamment pour le codage et l’analyse de données. Les tâches ouvertes, qui demandent davantage de jugement, leur posent plus de difficultés. Les modèles à poids ouverts ont aussi peiné sur des tâches bien définies. En cybersécurité, les meilleurs d’entre eux obtiennent des résultats comparables à ceux des meilleurs modèles fermés d’il y a 6 à 7 mois. Sur le jeu de stratégie Slay the Spire, les meilleurs modèles sont passés en 6 mois de difficultés à gagner à plus de 90 % de victoires au niveau de difficulté de base. Epoch AI relève aussi que Gemini 4 Argon obtient 166 points à son indice de capacités, à égalité avec Claude Fable 5.1. Claude Opus 5.5 et GPT-6 Astra partagent, eux, la première place. Les résultats varient donc selon les tâches évaluées : les modèles fermés de pointe réussissent mieux sur des tâches bien définies, tandis que les tâches ouvertes restent plus difficiles. Et les progrès sur Slay the Spire sont rapides : en 6 mois, les meilleurs modèles sont passés de difficultés à gagner à plus de 90 % de victoires au niveau de difficulté de base.

MMarc

Brief IA détaille les indicateurs utilisés pour évaluer la vitesse d’inférence des grands modèles de langage. Il s’agit notamment du délai avant le premier jeton généré, du temps entre les jetons, du débit et des latences observées sur les requêtes les plus lentes. Ces mesures permettent de distinguer l’attente au début d’une réponse de la vitesse de génération une fois celle-ci lancée. La mémoire nécessaire aux poids peut être réduite par quantification. Pour un modèle de 8 milliards de paramètres, elle passe d’environ 32 gigaoctets en précision 32 bits à 16 gigaoctets en 16 bits, puis à 8 gigaoctets en 8 bits et à 4 gigaoctets en 4 bits, hors surcoûts. Cette réduction peut toutefois diminuer l’exactitude, et les gains dépendent du matériel et de l’implémentation. Autrement dit, une représentation plus compacte économise de la mémoire, mais le résultat dépend aussi de la façon dont elle est mise en œuvre. Autre levier, FlashAttention traite le calcul de l’attention par blocs. Cela évite de conserver en mémoire la matrice complète, tout en préservant les résultats à de faibles différences numériques près. Le cache clé-valeur, lui, conserve des éléments utiles pour éviter de refaire certains calculs pendant la génération. Mais son coût en mémoire augmente avec la longueur du contexte et le nombre d’utilisateurs servis en même temps. Il faut donc tenir compte à la fois des calculs économisés et de la mémoire mobilisée lorsque plusieurs longues conversations sont traitées simultanément. Enfin, l’accélération ne dépend pas seulement de la puissance de calcul. Pour de petits lots de requêtes, le transfert des poids et du cache peut prendre plus de temps que le calcul lui-même. Ajouter des capacités de calcul ne garantit donc pas une génération proportionnellement plus rapide. Les indicateurs utilisés pour évaluer l’inférence comprennent le délai avant le premier jeton, le temps entre les jetons, le débit et les latences p95 et p99. Des mesures distinctes du pré-remplissage et du temps par jeton généré peuvent aussi aider à caractériser les différentes étapes de l’inférence.