MER-Bench teste la réécriture de mèmes

OOndine

MER-Bench évalue la capacité des intelligences artificielles à modifier l’émotion d’un mème tout en préservant sa scène, ses personnages et sa mise en page, selon AlphaSignal. Le benchmark porte sur la réécriture de mèmes avec ces contraintes.

OOndine

Cette tâche, baptisée « Meme Reappraisal », consiste à modifier l’émotion exprimée par un mème tout en préservant sa scène, ses personnages et sa mise en page.

OOndine

Pour mesurer leurs performances, MER-Bench annote les émotions de départ et d’arrivée, les légendes à réécrire, ainsi que les changements visuels attendus pour chaque exemple. Le benchmark précise ainsi ce qui doit changer et ce qui doit rester intact dans une même réécriture.

OOndine

Le benchmark classe aussi les exemples par catégories, puis s’appuie sur un modèle juge pour évaluer plusieurs dimensions, dont la qualité des résultats et le contrôle émotionnel. Il mesure également la fidélité structurelle et l’alignement affectif.

OOndine

L’évaluation examine aussi la fidélité à la structure d’origine et l’alignement entre l’émotion demandée et celle du résultat.

OOndine

Les systèmes testés présentent d’importantes lacunes dans le respect des contraintes évaluées, notamment BAGEL-7B-MoT, DreamOmni2, FLUX.2-klein-4B et Z-Image-Turbo.

OOndine

Le travail a été accepté à EMNLP 2026, et son code, ses données ainsi que des résultats pré-générés sont disponibles sur GitHub. MER-Bench fournit ainsi un cadre d’évaluation et des ressources accessibles pour examiner cette difficulté, au-delà d’un seul système ou d’un seul exemple.