Kimi K3.1 Pro, premier modèle public de l’index cybersécurité

TThéa

D’après AlphaSignal, Kimi K3.1 Pro obtient 64 % dans l’Artificial Analysis Cyber Index. C’est le meilleur score parmi les modèles accessibles par une API publique standard. Une configuration de GPT-6 Sol fait mieux, avec 69 %, mais elle est disponible sous conditions d’accès. Le résultat place donc Kimi en tête dans une catégorie précise, celle des modèles utilisables par une API publique standard, et non en tête de tous les systèmes sans distinction. C’est une différence importante pour comprendre ce que mesure le classement.

TThéa

L’index rassemble trois évaluations consacrées à la sécurité de logiciels. Les modèles doivent examiner du code, repérer des vulnérabilités, reproduire des problèmes et proposer des corrections qui ne cassent pas le reste du programme. Il s’agit donc de tâches défensives, comme l’audit d’un dépôt logiciel ou la réparation d’une faille. Artificial Analysis précise que l’évaluation exclut les demandes visant à créer des exploits fonctionnels. Autrement dit, le score ne décrit pas une capacité générale à mener n’importe quelle opération de cybersécurité.

TThéa

Les trois tests composent une batterie plutôt qu’une épreuve unique. CyberGym-E2E-AA mesure notamment des tâches de reproduction et de réparation de vulnérabilités de bout en bout. DeepsecBench-AA et CWE-Bench-AA apportent d’autres types de problèmes de sécurité logicielle. Le score global donne une vue synthétique des résultats sur cet ensemble. Mais cette moyenne ne dit pas, à elle seule, dans quel type de tâche le modèle est particulièrement fiable, ni où il rencontre des difficultés.

TThéa

Son résultat le plus frappant est celui de CyberGym-E2E-AA, avec 95 %. C’est le meilleur score rapporté parmi les modèles évalués sur cette épreuve. En revanche, Kimi K3.1 Pro obtient 37 % à DeepsecBench-AA et 61 % à CWE-Bench-AA. L’écart est net : ses performances ne sont pas uniformes d’un test à l’autre. Les résultats indiquent donc une réussite particulièrement élevée sur CyberGym-E2E-AA, mais plus modeste sur les deux autres tests.

TThéa

La comparaison avec les versions précédentes suggère une progression importante sur cet index. AlphaSignal rapporte que Kimi K3.1 Pro gagne 23 points par rapport à Kimi K3, qui avait obtenu 41 %. Le nouveau modèle devance aussi de 7 points DeepSeek V4.1 Flash 1017, présenté comme le précédent modèle ouvert en tête. Ces comparaisons reposent sur les évaluations d’Artificial Analysis. Elles donnent un repère utile, mais elles ne remplacent pas l’examen des résultats détaillés, qui montrent justement des écarts entre les trois tests.

TThéa

Le profil intéresse surtout les équipes qui veulent automatiser une partie de l’analyse de code ou de la correction de vulnérabilités. Artificial Analysis n’a enregistré aucun refus de sécurité de Kimi K3.1 Pro pendant cette évaluation. Dans cette batterie de tests, le modèle a donc réalisé les tâches sans refus de sécurité. Ce résultat décrit uniquement son comportement pendant cette évaluation.

TThéa

Alors, Artificial Analysis n’a enregistré aucun refus de sécurité de Kimi K3.1 Pro pendant les tâches de cette évaluation. Cela ne renseigne pas sur son comportement face à des demandes différentes de celles du test. L’index porte sur des travaux défensifs de sécurité logicielle et exclut les demandes de création d’exploits fonctionnels. Les résultats doivent donc se lire dans le cadre précis de ces tâches. Ils ne décrivent pas toutes les capacités du modèle en cybersécurité.

TThéa

AlphaSignal rapporte un coût de 2,81 dollars par tâche pour Kimi K3.1 Pro, soit 15 % de plus que pour Kimi K3. Les modalités de calcul de ce montant ne sont pas précisées dans l’article. Il faut donc le présenter comme une estimation rapportée, sans en déduire un coût applicable à toutes les tâches. En parallèle, Moonshot a baissé de 33 % les prix de ses jetons d’API. Ces tarifs de jetons et le coût par tâche sont deux chiffres distincts rapportés dans le même article.

TThéa

Brief IA rapporte des tarifs de 2 dollars par million de jetons en entrée et de 10 dollars par million en sortie. Les jetons d’entrée issus du cache coûtent 0,20 dollar par million. Le même article estime le coût d’une tâche à 1,98 dollar pour Kimi K3.1 Pro et à 2 dollars pour Kimi K3, tout en indiquant que le nouveau modèle produit 14 % de jetons de sortie supplémentaires. AlphaSignal rapporte, de son côté, 2,81 dollars par tâche pour Kimi K3.1 Pro. AlphaSignal ne précise pas les modalités de calcul de son estimation, tandis que Brief IA ne donne pas celles de la sienne.

TThéa

Kimi K3.1 Pro est accessible par l’API de Kimi, ainsi que par Kimi Work et Kimi Code. Selon Simon Willison, les poids du modèle ne sont pas encore ouverts. Moonshot prévoit de les publier avant le 4 novembre 2026. Cette publication reste donc annoncée, et les poids ne sont pas disponibles à ce stade. L’accès à l’API et la publication des poids sont deux modalités distinctes.

TThéa

Les résultats varient fortement selon le test : Kimi K3.1 Pro obtient 95 % à CyberGym-E2E-AA, 37 % à DeepsecBench-AA et 61 % à CWE-Bench-AA. Le score global de 64 % résume ces résultats, sans les rendre uniformes. AlphaSignal précise que les modalités de calcul du coût de 2,81 dollars par tâche ne sont pas détaillées. Enfin, Artificial Analysis n’a relevé aucun refus pendant cette évaluation, qui porte sur des tâches défensives de sécurité logicielle. Ces éléments décrivent les résultats dans ce cadre précis.

TThéa

Il faut distinguer ce test défensif d’une évaluation des capacités offensives. Les exercices portent sur des tâches défensives de sécurité logicielle et excluent les demandes de création d’exploits fonctionnels. Le Cyber Index mesure donc les résultats sur les tâches qu’il évalue, et non sur l’ensemble des scénarios possibles. Kimi K3.1 Pro y obtient des scores différents selon les tests : 95 % à CyberGym-E2E-AA, 37 % à DeepsecBench-AA et 61 % à CWE-Bench-AA. Ces chiffres décrivent les performances mesurées dans cette batterie.

TThéa

Le score de GPT-6 Sol mérite aussi d’être replacé dans son contexte. La configuration qui atteint 69 % est accessible sous conditions, alors que Kimi est évalué parmi les modèles disponibles par une API publique standard. Les conditions d’accès ne sont donc pas les mêmes pour les deux configurations comparées. Kimi obtient 64 % dans cet index. Ce classement ne change pas les écarts entre ses résultats aux trois sous-tests.

TThéa

Bon, le chiffre de 64 % ne raconte pas toute l’histoire. Il place Kimi K3.1 Pro en tête parmi les modèles accessibles par une API publique standard, et non parmi toutes les configurations évaluées. Le modèle obtient 95 % à CyberGym-E2E-AA, puis 37 % à DeepsecBench-AA et 61 % à CWE-Bench-AA. AlphaSignal rapporte un coût de 2,81 dollars par tâche, sans en préciser les modalités de calcul. Ces éléments permettent de situer le résultat, avec des performances variables selon les tests et une estimation de coût dont le calcul n’est pas détaillé.

TThéa

Kimi K3.1 Pro arrive en tête de l’Artificial Analysis Cyber Index parmi les modèles accessibles par une API publique standard, avec 64 %. Son score de 95 % à CyberGym-E2E-AA est le plus élevé rapporté sur cette épreuve, mais ses résultats de 37 % et 61 % aux deux autres tests montrent des performances variables selon la tâche. L’évaluation porte sur des travaux défensifs et n’a relevé aucun refus de sécurité de sa part pendant les tests. AlphaSignal rapporte un coût de 2,81 dollars par tâche, sans préciser les modalités de calcul. Le classement indique donc le résultat obtenu sur cette batterie de tests et doit être lu avec ses scores détaillés et ses limites.