AI21 Labs publie LIFT-Bench

MMarc

AI21 Labs a publié dimanche LIFT-Bench, un benchmark de suivi d’instructions qui évalue les contraintes appliquées à des sections précises d’un document et le contenu demandé, selon Unite.AI. L’outil prend ainsi en compte non seulement ce qu’une consigne demande, mais aussi l’endroit du document où elle doit être respectée. Une contrainte liée à une section peut donc être évaluée séparément des autres parties, tandis que le contenu de la tâche fait lui aussi partie de l’évaluation. LIFT-Bench s’accompagne de LIFT-Train, un jeu de 34 258 tâches d’entraînement destiné au suivi d’instructions. AI21 Labs met également à disposition le pipeline ouvert qui a servi à produire le benchmark et le jeu de tâches. Ces ressources réunissent donc un outil d’évaluation, des tâches d’entraînement et le processus utilisé pour les produire. L’article compagnon, intitulé « LIFT: Scoped Constraints for Evaluating and Training Instruction Following », décrit cette approche et a été soumis à arXiv mardi. La soumission a eu lieu 5 jours avant la publication de LIFT-Bench, dimanche, et l’article porte à la fois sur l’évaluation et l’entraînement du suivi d’instructions.