Évaluer les agents d’intelligence artificielle
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Léna
Simon Willison cherche un nouveau benchmark pour tester l’usage prolongé d’outils et le traitement d’un contexte long par les modèles, dans un entretien publié jeudi par Turing Post. Son test du pélican à vélo ne mesure pas ces capacités, et les modèles de pointe réussissent déjà de nombreuses épreuves, ce qui complique la création de benchmarks capables de les départager. Willison explore donc des évaluations visuelles en trois dimensions, sans présenter ces pistes comme un nouveau test achevé. Dans un exemple, il s’agirait de demander à un modèle de transformer Yonkers en robot géant, puis de lui faire piétiner Manhattan, à partir de données géographiques d’OpenStreetMap. L’exemple associe ainsi une consigne visuelle à des données portant sur des lieux précis, mais l’entretien ne précise pas qu’il s’agit d’une évaluation déjà validée. Willison recommande également de comparer le coût et le temps d’exécution des tests ; il ne s’agit donc pas seulement de vérifier si un modèle donne la bonne réponse. La conversation aborde aussi ses craintes concernant l’injection de prompt et l’intérêt des modèles locaux pour le journalisme, sans détailler ici de méthode particulière. Elle évoque enfin les usages créatifs possibles des agents d’intelligence artificielle, tandis que la recherche de benchmarks doit permettre de mieux évaluer des capacités que les tests actuels ne mesurent pas suffisamment, notamment l’usage prolongé d’outils et le contexte long.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.