Échantillonnage top-k et top-p

CCapucine

L’échantillonnage top-k et top-p consiste à choisir le prochain morceau de texte parmi des candidats probables : top-k garde les k options les mieux classées, tandis que top-p retient le plus petit groupe dont les probabilités cumulées atteignent un seuil fixé. Imaginez un menu : top-k limite le choix aux plats les plus populaires, alors que top-p laisse entrer autant de plats qu’il faut pour couvrir une part suffisante des préférences. Ces méthodes changent la façon dont un modèle choisit ses mots : elles peuvent rendre une réponse plus prévisible, ou laisser davantage de place à la variété. Les deux réglages contrôlent donc la sélection, mais selon des règles différentes, et peuvent être combinés. Ils ne garantissent ni une réponse juste ni une réponse originale : le résultat dépend aussi du modèle, du contexte et des autres réglages utilisés.