LeHami, une variante de JEPA

OOndine

Yann LeCun, Romina Yalovetzky et Randall Balestriero auraient proposé LeHami, une nouvelle variante de JEPA, selon Turing Post. Cette approche ajoute aux prédictions une contrainte géométrique inspirée de la mécanique hamiltonienne, une branche de la physique qui sert ici de référence au principe intégré par les chercheurs. L’objectif annoncé est de préserver les différences entre les états lorsque le modèle enchaîne des prédictions sur une longue durée, plutôt que de voir ces différences s’atténuer progressivement. Le risque visé concerne les représentations de JEPA : au fil de déroulements prolongés, des états distincts pourraient perdre leurs particularités et devenir moins différenciables. Cette perte progressive de distinctions est le problème que LeHami cherche à limiter avec sa contrainte géométrique ; la proposition porte donc sur la manière dont les prédictions successives préservent les écarts entre états. Le nom LeHami combine une référence à LeJEPA et une référence à la mécanique hamiltonienne, d’après Turing Post. L’approche est présentée comme une piste de recherche contre l’effondrement progressif des représentations pendant les prédictions prolongées de JEPA ; ces éléments décrivent son objectif, sans établir que la méthode améliore effectivement les prédictions à long terme.