LongChang met les modèles à l’épreuve des lois physiques

OOndine

Une équipe de recherche présente LongChang, un cadre qui teste si des modèles d’intelligence artificielle peuvent découvrir des lois physiques modifiées sans consigne ni indice. La publication est déposée sur arXiv mercredi. LongChang crée des mondes simulés où certaines règles de la physique changent. Les modèles évalués manipulent des objets et construisent des outils pour examiner les phénomènes qu’ils remarquent, sans tâche de recherche ni indice sur les lois modifiées. C’est un peu comme entrer dans une pièce inconnue et mener ses propres expériences, sans recevoir de consigne sur ce qu’il faut chercher. Des agents distincts génèrent et vérifient les scènes, examinent les outils conçus, puis évaluent si les rapports sont corrects et étayés par les expériences. Les règles cachées peuvent être surprenantes : des objets plus lourds tombent plus lentement, des boules rouges s’attirent, ou l’intensité de la gravité oscille. Dans l’évaluation rapportée par AlphaSignal, sur 12 modèles testés, GPT-6-Astra est le seul à découvrir les lois modifiées, avec un taux de 16,7 %. Les 11 autres obtiennent 0 %. Le test révèle aussi un problème de fausses alertes. Dans les mondes témoins, où la physique reste ordinaire, environ un tiers des rapports affirment à tort qu’une anomalie existe. Les résultats montrent donc que les modèles peuvent passer à côté de lois modifiées et, dans les mondes témoins, annoncer à tort une anomalie. Les chercheurs indiquent que le code et 540 enregistrements d’exécution sont disponibles. Ces résultats portent sur des mondes simulés : ils mesurent la capacité des modèles dans ce cadre, et ne montrent pas comment ils se comporteraient dans le monde réel.