Ce que les IA ne savent pas encore du droit américain de l’immigration

NNoor

D’après Vals AI, le résultat le plus frappant est qu’aucun modèle ne semble jeudi assez fiable pour qu’on lui confie seul un conseil en immigration. Le meilleur modèle évalué, Claude Fable 5.1, satisfait en moyenne 75,4 % des critères définis par les spécialistes, mais il ne donne une réponse entièrement correcte que dans 26,3 % des cas. Il faut bien distinguer ces deux chiffres : une réponse peut couvrir plusieurs éléments utiles tout en omettant une condition essentielle, une mise en garde ou une étape importante. Immigration Bench porte sur le droit américain de l’immigration, un domaine où une réponse erronée peut concerner le statut d’une personne, son emploi ou une démarche en cours. Les résultats publiés s’appuient sur 262 questions privées, sélectionnées dans un ensemble de 519 questions préparées par des spécialistes et réparties entre 7 profils. Ce choix permet de tester des situations variées sans publier l’intégralité du jeu utilisé pour évaluer les modèles.

NNoor

Les questions ont été rédigées par des spécialistes et associées à une grille qui précise ce qu’une réponse complète doit couvrir. L’évaluation ne vérifie donc pas seulement si le texte paraît convaincant : elle mesure si le modèle aborde les faits pertinents, les règles applicables, les avertissements et les démarches recommandées. Le test peut se dérouler sur plusieurs échanges, jusqu’à 5 tours de conversation, afin de laisser au modèle la possibilité de demander des précisions. Des systèmes distincts sont utilisés pour produire la réponse, simuler les réponses de l’utilisateur et noter l’échange. Le correcteur Claude Sonnet 5 a concordé avec les experts en immigration dans 88,6 % des cas où 2 experts s’étaient accordés. C’est un repère sur la cohérence de la notation, pas la preuve que les réponses des modèles sont juridiquement justes : le score final reste lié aux critères établis pour chaque question.

NNoor

Les résultats varient beaucoup selon la situation. Les modèles couvrent 76 % des critères liés aux autorisations de travail étudiant, notamment OPT et STEM OPT, alors que les questions sur des voies professionnelles de long terme comme NIW, PERM, O-1 et EB-5 sont plus difficiles. La borne complète pour ce dernier groupe n’est pas disponible, donc il serait trompeur d’en donner un résultat précis au-delà de ce contraste. Les personnes les plus vulnérables ne sont pas épargnées : pour des profils comme les bénéficiaires de DACA ou du statut TPS, le meilleur modèle ne satisfait en moyenne que 63,9 % des critères. Autrement dit, un bon score général ne signifie pas que l’outil est également performant pour chaque public. Les questions d’un étudiant sur une autorisation de travail et celles d’une personne dont le statut est fragile n’engagent pas les mêmes enjeux, et les résultats signalent justement des performances inégales selon les profils et les sujets.

NNoor

Alors, c’est une différence centrale du benchmark : expliquer une règle générale est plus facile que déterminer ce qu’elle implique pour une situation individuelle. Dans l’évaluation en plusieurs tours, les modèles satisfont 63 % des critères qui demandent d’expliquer le droit ou de recommander une étape, contre 43 % des critères qui exigent d’appliquer ce droit aux faits d’un cas. Un modèle peut donc décrire correctement une procédure sans repérer que la réponse dépend d’un détail propre à la personne. Poser davantage de questions n’améliore pas automatiquement la qualité du conseil global : cela peut rapporter des points sur la collecte des faits, sans garantir une meilleure analyse juridique. C’est important parce que les questions d’immigration ne sont pas de simples demandes de définition; la réponse peut dépendre d’un parcours, d’un statut ou d’une situation professionnelle particulière. Le test montre ainsi un écart entre restituer de l’information et raisonner de façon suffisamment précise pour guider quelqu’un.

NNoor

Oui, l’écart est particulièrement net pour les règles de 2025 et 2026. Les modèles ne couvrent que 7,3 % des critères portant sur ces règles récentes, contre 64 % pour le droit établi. Même avec une recherche sur le web, le meilleur modèle n’atteint que 43,1 % sur ces questions : l’accès à des pages en ligne ne résout donc pas automatiquement le problème. La recherche aide néanmoins dans certains cas, surtout pour les questions des employeurs, où elle améliore le score moyen de 10,4 points. Sans recherche, aucun modèle ne connaissait une modification de mars 2026 concernant l’application par l’ICE des règles de vérification I-9. Bon, ce résultat illustre la difficulté : il faut non seulement trouver une information récente, mais aussi identifier la règle pertinente et l’appliquer correctement au cas posé. Le benchmark décrit donc une faiblesse qui touche à la fraîcheur des connaissances et à leur usage, pas uniquement à la capacité de répondre avec assurance.

NNoor

L’évaluation montre d’abord qu’aucun modèle testé ne couvre à lui seul tous les critères attendus. Réunir les meilleures réponses produites par les 25 modèles permettrait d’atteindre 92 % au benchmark, selon une comparaison théorique rapportée par AlphaSignal. Ce chiffre ne décrit pas un système réel : il assemble après coup les réponses les plus performantes et ne signifie pas qu’un modèle unique obtient ce résultat. Il suggère toutefois que les modèles ne réussissent pas tous sur les mêmes éléments, ce qui laisse entrevoir des gains possibles avec des outils conçus pour rechercher et croiser des informations précises. Vals AI recommande de développer des outils spécialisés, appuyés sur la recherche documentaire et évalués à partir de questions réelles, avec la participation d’avocats en immigration, d’organisations d’aide juridique et d’experts fédéraux. Cette recommandation n’est pas un résultat expérimental.

NNoor

Ce qu’il faut retenir, c’est qu’un score moyen flatteur peut masquer des omissions importantes. Claude Fable 5.1 atteint 75,4 % des critères en moyenne, mais une réponse entièrement correcte n’apparaît que dans 26,3 % des cas; ces deux mesures ne racontent pas la même chose. Les performances sont aussi plus faibles sur les règles récentes et sur l’application du droit aux faits d’une personne. La recherche web apporte un bénéfice sur certaines questions, en particulier celles des employeurs, mais elle ne suffit pas à rendre les réponses fiables sur les changements récents. Immigration Bench ne dit pas que les outils ne peuvent jamais être utiles : il montre que leur qualité dépend du sujet, du profil et de la capacité à vérifier les informations. Pour une démarche qui peut toucher au statut ou au travail, ces résultats invitent à ne pas confondre une explication bien formulée avec un conseil juridique complet et adapté.