Fenêtres de contexte : faut-il toujours en faire plus ?
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Token FM
Token FM, la radio de l'IA, faite par l'IA. Place au dossier.
Victor
Bonjour Noor, on vous accueille pour parler des fenêtres de contexte des modèles d’intelligence artificielle. Des chercheurs de Nvidia estiment que les très grandes fenêtres sont souvent coûteuses et excessives, et que des résumés accompagnés de recherches ciblées peuvent parfois produire des résultats comparables. Qu’est-ce qui est nouveau dans leur analyse ?
Noor
D’après The Decoder, des chercheurs de Nvidia contestent l’intérêt de donner systématiquement aux modèles une quantité toujours plus grande de texte. Une fenêtre de contexte, c’est l’ensemble des éléments que le modèle garde à sa disposition lorsqu’il formule une réponse. Cette capacité a beaucoup augmenté : GPT-4 acceptait 8 192 tokens lors de son lancement, en mars 2023. GPT 5.6 Sol peut désormais traiter environ un million de tokens, soit à peu près 120 fois plus que GPT-4 à son lancement, selon Brief IA. Cette taille permet de placer un roman comme Guerre et Paix dans le contexte du modèle, mais les chercheurs jugent que ces capacités très étendues sont souvent coûteuses et excessives. Leur interrogation ne porte donc pas seulement sur ce qu’un modèle peut ingérer, mais aussi sur l’intérêt de mobiliser tout ce volume pour une tâche donnée.
Victor
Comment fonctionnent les résumés et les recherches ciblées comparés au contexte complet ?
Noor
Alors, dans les tests rapportés, l’approche comparée au contexte complet combine des résumés produits à intervalles réguliers et des recherches ciblées par mots-clés. Les résumés condensent les informations, tandis que les recherches permettent de retrouver des éléments précis en fonction des termes recherchés. Le modèle peut ainsi s’appuyer sur une version plus courte et sur des éléments retrouvés de manière ciblée, au lieu d’utiliser tout le contexte disponible. Dans plusieurs tests, cette méthode a obtenu des résultats comparables à l’utilisation du contexte complet, pour un coût nettement inférieur. Cela indique que, dans ces essais, traiter l’ensemble du contexte n’était pas toujours nécessaire pour atteindre une performance comparable. Les résultats ne signifient pas que cette organisation convient à toutes les demandes, ni que les fenêtres longues n’ont jamais d’utilité : ils montrent qu’une autre méthode peut être efficace dans les cas testés.
Victor
Pour qui cette différence peut-elle compter, et que disent les chiffres sur l’ampleur des fenêtres ?
Noor
Les chiffres donnent une idée de l’évolution des capacités : GPT-4 disposait de 8 192 tokens à son lancement, en mars 2023, tandis que GPT 5.6 Sol peut traiter environ un million de tokens. Cette comparaison, rapportée par Brief IA, illustre l’écart entre les deux capacités, mais elle ne démontre pas que chaque usage ait besoin d’un million de tokens. Si des recherches ciblées retrouvent les passages utiles à une tâche, mobiliser la capacité maximale peut être superflu pour cette tâche. Les chercheurs de Nvidia soulignent aussi que les très grandes fenêtres sont souvent coûteuses, ce qui rend important le rapport entre les ressources mobilisées et les résultats obtenus.
Victor
Quelles sont les limites de cette critique des fenêtres très longues ?
Noor
Bon, il faut garder la conclusion à sa juste mesure : elle porte sur plusieurs tests, et ne constitue pas une règle valable pour chaque modèle ou chaque demande. Les résultats rapportés montrent que des résumés périodiques et des recherches ciblées ont pu donner des performances comparables au contexte complet, avec un coût nettement inférieur. Ils ne permettent pas d’affirmer que les deux méthodes se valent dans toutes les situations. Par exemple, un résumé peut ne pas reprendre chaque détail, et une recherche par mots-clés dépend des termes employés : ce sont des limites possibles de ces méthodes, pas des résultats quantifiés dans les tests cités. La critique de Nvidia invite donc à examiner le coût et les résultats dans les tâches concernées, plutôt qu’à considérer la taille maximale d’une fenêtre comme un objectif en soi. Il reste à déterminer dans quelles conditions chaque approche convient le mieux.
Victor
Que propose l’équipe de Nvidia pour la suite, et que faut-il retenir ?
Noor
L’équipe de recherche de Nvidia propose d’explorer une nouvelle catégorie de modèles conçus pour fonctionner à partir de notes courtes plutôt que de longs contextes. C’est une piste de recherche, et non l’annonce d’un système déjà déployé ou la preuve que cette approche remplacera les fenêtres étendues. Cette proposition rejoint les essais rapportés, où résumer et rechercher a parfois permis d’obtenir des résultats comparables à l’utilisation du contexte complet, pour un coût inférieur. Le point essentiel, c’est donc de comparer les méthodes selon leur coût et les résultats obtenus, et pas seulement selon la quantité maximale de texte qu’un modèle peut recevoir.
Victor
Noor, merci pour ces éclairages.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.