Jev-Omni, un classificateur multimodal

MMarc

Jev-Omni est un modèle multimodal à poids ouverts de 12 milliards de paramètres, affiné à partir de Gemma 4 12B IT sur 30 000 questions et conçu pour attribuer des probabilités à des options proposées, selon AlphaSignal.

MMarc

Il reçoit du texte, des images, de l’audio ou de la vidéo dans une même interface, puis attribue des probabilités aux options proposées pour une décision oui ou non, un choix parmi plusieurs réponses ou un score ; il est présenté comme particulièrement adapté aux questions comportant 20 options ou moins.

MMarc

Les résultats annoncés sont de 87,57 % sur DecisionBench Medium, 63,10 % sur MMAU et 53,10 % sur MVBench, avec une erreur de calibration attendue de 0,0400 sur DecisionBench Medium, mais ils ne sont pas confirmés par une validation indépendante indiquée.

MMarc

Pour la vitesse, les latences annoncées sur un processeur graphique H200 à chaud sont de 83 millisecondes pour le texte, 26 pour une image et 31 pour l’audio, tandis qu’une vidéo de 16 images demande 504 millisecondes.

MMarc

Le modèle peut fonctionner en précision BF16 sur un processeur graphique compatible avec CUDA, alors qu’une exécution en précision FP32 nécessite environ 50 gigaoctets de mémoire, des exigences susceptibles de limiter son déploiement selon le matériel disponible.

MMarc

La calibration peut varier et les conditions de déploiement ; Jev-Omni apparaît donc comme un outil spécialisé pour comparer des options sur plusieurs types de contenus, sans que les scores annoncés garantissent les mêmes performances dans d’autres usages.