Ce que GPT-6 Astra révèle sur la vision par ordinateur

MMarc

Une étude publiée sur arXiv examine jusqu’où GPT-6 Astra et d’autres systèmes généralistes peuvent accomplir des tâches de vision par ordinateur, et ce qui leur résiste encore. Les chercheurs évaluent 6 systèmes généralistes sur 34 capacités et 55 tests répartis dans 9 domaines. Ils comparent aussi les résultats à ceux de modèles spécialisés et d’êtres humains, lorsque des points de comparaison sont disponibles. On peut se représenter cette évaluation comme un parcours d’épreuves. Au lieu de vérifier une seule aptitude, on propose aux systèmes des tâches variées, puis on regarde où chacun réussit et où les difficultés persistent. Certaines épreuves portent sur le sens d’une image ou sur les relations entre les objets. D’autres demandent des prédictions organisées, c’est-à-dire une réponse qui décrit plusieurs éléments visuels de façon structurée. Le résultat principal est que GPT-6 Astra montre des capacités visuelles étendues. Parmi les systèmes généralistes évalués, il progresse nettement en raisonnement visuel et spatial, ainsi que dans plusieurs formes de prédiction structurée. Plus largement, l’étude observe que les systèmes les plus avancés se rapprochent parfois des niveaux de référence, ou les atteignent, pour interpréter le sens d’une scène, raisonner et repérer les objets. Mais les performances restent moins solides quand la tâche exige une géométrie précise, une reconstruction fidèle de l’image, des prédictions cohérentes dans le temps ou des connaissances visuelles très spécialisées. Des outils spécialisés et des étapes de raisonnement supplémentaires peuvent réduire certains écarts, mais leur utilité varie selon la tâche. À retenir, ces systèmes généralistes abordent un éventail croissant de problèmes visuels. Les résultats signalent surtout une frontière encore nette : comprendre ce qu’une image représente est une chose ; la mesurer ou la reconstruire avec précision en est une autre.