Ce que les échecs de l’intelligence artificielle nous apprennent

SSacha

Dans un entretien du podcast de Microsoft Research, Jennifer Neville explique que des échecs surprenants apparaissent lorsque les systèmes d’intelligence artificielle sont évalués au-delà des benchmarks traditionnels, face à la complexité. Elle est responsable de recherche partenaire chez Microsoft Research et professeure d’informatique et de statistique à l’université Purdue. Son propos porte sur la manière d’évaluer ces systèmes, au-delà des résultats obtenus sur des tests habituels. Le point de départ est simple : les benchmarks traditionnels ne font pas apparaître tous les échecs qui se révèlent lorsque les modèles sont soumis à des situations plus complexes. Ces échecs méritent d’être observés, plutôt que de s’en tenir aux résultats déjà mesurés. C’est ce déplacement de l’évaluation qui met en lumière des comportements inattendus.

SSacha

L’idée est de ne pas limiter l’évaluation aux benchmarks traditionnels. Jennifer Neville explique que des échecs surprenants se manifestent lorsque les modèles sont confrontés à la complexité, au-delà de ces tests. Autrement dit, les résultats d’un benchmark ne suffisent pas à faire apparaître tous les échecs que peut révéler une évaluation plus large. Cela ne signifie pas que les tests habituels sont sans intérêt, mais qu’ils ne constituent pas l’unique façon d’examiner un système. Il s’agit de prêter attention à ce qui apparaît quand on dépasse ce cadre. Alors, l’évaluation apporte des éléments différents sur les limites des modèles.

SSacha

Jennifer Neville met l’accent sur le rapprochement entre les performances des systèmes et les besoins de leurs utilisateurs. La question n’est donc pas seulement de mesurer une performance en général, mais de se demander si l’évaluation aide à répondre à ces besoins. C’est un point central de son propos sur l’évaluation des systèmes d’intelligence artificielle. Une mesure obtenue sur un benchmark ne dit pas, à elle seule, si les performances correspondent à ce que les utilisateurs attendent. Il faut donc penser l’évaluation en lien avec ces besoins, plutôt que de traiter les résultats comme une fin en soi. Bon, l’enjeu est bien de rapprocher ce que le système réussit de ce qui est utile à ses utilisateurs.

SSacha

Jennifer Neville souligne qu’il est important d’examiner les données lorsque les résultats d’un système d’intelligence artificielle défient les attentes. Cette attention aux données accompagne l’évaluation des systèmes au-delà des benchmarks traditionnels, où des échecs surprenants peuvent apparaître. En pratique, cela veut dire que les résultats inattendus sont aussi une raison de regarder de près les données, plutôt que de s’arrêter au constat. Son propos ne fournit pas une explication unique à chaque échec : il souligne l’importance de cette analyse et de l’évaluation. Ces deux aspects permettent de mieux relier les performances observées aux besoins des utilisateurs. C’est cette relation entre résultats, données et attentes qui mérite d’être examinée.

SSacha

L’enseignement à retenir, c’est que les évaluations au-delà des benchmarks traditionnels peuvent révéler des échecs surprenants lorsque les modèles sont confrontés à la complexité. Jennifer Neville insiste aussi sur l’importance d’examiner les données quand les résultats défient les attentes. Et l’évaluation a un objectif concret : rapprocher les performances des systèmes des besoins de leurs utilisateurs. Ces trois idées vont ensemble. Les benchmarks habituels ne sont pas le seul point de repère ; les résultats inattendus et les données méritent eux aussi d’être pris en compte. Le propos de Jennifer Neville invite à évaluer les systèmes en gardant à l’esprit les usages auxquels leurs performances doivent répondre.