Cache KV
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Théa
Le cache KV est une mémoire temporaire où un modèle conserve certaines informations calculées pendant la lecture d’un texte, afin de les réutiliser pour produire la suite. Imaginez un lecteur qui place des marque-pages et note les idées importantes : il peut reprendre au bon endroit sans repasser chaque page en revue. Dans un modèle de langage, ces informations sont des clés et des valeurs, utilisées par le mécanisme d’attention pour relier les nouveaux éléments à ceux qui les précèdent. Le cache peut donc accélérer la génération, surtout lorsque le texte traité s’allonge, mais il occupe de la mémoire informatique et peut demander davantage de ressources. Il ne s’agit pas d’un souvenir durable : le cache sert au traitement en cours, et son volume augmente avec la longueur du texte, ce qui peut devenir une contrainte.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.