Distillation

TThéa

La distillation, en intelligence artificielle, consiste à entraîner un modèle plus petit à imiter certaines réponses ou capacités d’un modèle plus grand, grâce à des exemples. Imaginez un chef qui transmet ses gestes à un apprenti : l’apprenti n’apprend pas toute sa bibliothèque de recettes, mais les façons de faire qui lui permettent de réussir les plats les plus utiles. En pratique, ce modèle compact peut demander moins de mémoire et de puissance de calcul, ce qui facilite son déploiement sur un téléphone, dans un logiciel ou sur un serveur moins coûteux. Mais cette transmission n’est pas une copie parfaite : le petit modèle peut perdre des compétences, reproduire des erreurs ou moins bien répondre aux questions inhabituelles. Il imite les comportements montrés, pas forcément le savoir entier.