Le papier du jour

Attribuer le contexte d’un prompt

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Marc

Une étude déposée sur arXiv examine comment la suppression de chaque unité d’un prompt change la réponse d’un modèle de langage. Elle porte sur l’attribution dite « leave-one-out » : on retire un élément à la fois et on mesure l’effet sur la sortie. Le calcul direct consiste à refaire tourner le modèle après chaque suppression. Il faut donc autant d’évaluations qu’il y a d’unités dans le prompt. Les auteurs proposent une méthode d’estimation, appelée esquisse, qui cherche à retrouver l’effet de toutes les suppressions avec moins d’évaluations. On peut l’imaginer comme une carte tracée à grands traits : plutôt que de relever séparément chaque détail, on utilise un nombre réduit de mesures pour reconstruire une vue d’ensemble. Cette économie dépend d’une hypothèse de stabilité sur les coefficients étudiés. En termes simples, leurs effets doivent présenter une régularité suffisante pour que l’estimation fonctionne. Si cette condition est remplie, l’algorithme estime toutes les attributions avec une erreur proportionnelle à la précision demandée et une probabilité constante. Le nombre d’évaluations nécessaires est de l’ordre de la racine carrée du logarithme de l’inverse de cette précision, divisée par cette précision. Le calcul direct, lui, demande une évaluation pour chaque unité du prompt. Les auteurs établissent aussi une borne inférieure du même ordre dans un modèle théorique d’accès au système. Ce résultat porte sur ce cadre précis ; il ne décrit pas nécessairement toutes les situations pratiques. Les expériences observent une décroissance des coefficients compatible avec l’hypothèse de stabilité, puis testent la méthode sur une petite tâche de recherche d’information avec un modèle de langage. Ces essais apportent un premier appui à la méthode, mais restent limités à cette tâche. Ils ne démontrent pas qu’elle convient à d’autres usages. Le résultat reste spécialisé : son intérêt dépend notamment de la validité de l’hypothèse de stabilité.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.