Journal de 7 h · 6 novembre

LLéna

D²-OPD est une méthode de distillation on-policy extrapolative proposée pour entraîner un modèle étudiant à partir d’un modèle enseignant, selon arXiv. Elle distingue la direction de l’extrapolation et la distance à parcourir. Une contrainte de divergence de Kullback-Leibler, appliquée à chaque préfixe, limite l’écart entre la cible et le modèle enseignant. La direction est déterminée par une combinaison adaptative de 2 éléments : le déplacement du modèle enseignant après entraînement et l’écart initial entre l’étudiant et l’enseignant. La méthode dissocie ainsi le choix de la direction du contrôle de la distance, sans que les auteurs détaillent ici d’autres effets sur l’entraînement.

LLéna

LowRAM vise à compresser le cache clé-valeur utilisé pendant le décodage des modèles de langage, selon arXiv. La méthode exploite la prédictibilité des valeurs à partir des clés correspondantes, au sein de chaque tête d’attention. À l’inférence, un prédicteur léger est ajusté pour chaque tête. Il reconstruit les valeurs et ne conserve des résidus que pour les jetons qu’il reconstitue le moins bien. Les auteurs annoncent une compression des valeurs d’un facteur 4, avec une perte presque nulle. Le prédicteur peut être initialisé par méta-apprentissage pour réduire le surcoût du préremplissage. Il peut aussi être entraîné à partir de zéro lorsque le coût initial peut être amorti, par exemple en inférence multi-requête.

LLéna

TileQuant attribue des niveaux de précision à des tuiles de poids en 2 dimensions pour quantifier après entraînement de grands modèles de langage, selon arXiv. Ce cadre sans entraînement aligne les tuiles sur le matériel. Il part du constat que la sensibilité des poids peut varier au sein d’une même colonne : conserver toute une colonne en haute précision peut donc protéger inutilement des poids moins sensibles. La méthode propose un score tenant compte des activations, calculé hors ligne à partir de statistiques de propagation avant, ainsi qu’un score informé par les gradients et la sensibilité de la perte. Le projet relève aussi que détecter les anomalies à l’exécution ajoute un coût au décodage.

LLéna

Des utilisateurs rapportent des réponses jugées moralisatrices ou condescendantes de Gemini, ChatGPT et Claude, dans des échanges sur une rupture amoureuse, le prix d’une piscine et la vérification de témoignages journalistiques, selon Le Monde. Dans ces témoignages, Gemini aurait sermonné une utilisatrice en pleine rupture, ChatGPT aurait présumé qu’un utilisateur ne pouvait pas s’offrir une piscine, et Claude aurait mis en doute le travail déontologique d’une journaliste.