MiniCPM-V 4.7 1B, l’IA multimodale au plus près du téléphone

NNoor

Alors, OpenBMB a publié MiniCPM-V 4.7 1B, un modèle multimodal d’un milliard de paramètres conçu pour les téléphones, les tablettes et d’autres appareils locaux, d’après AlphaSignal. Il s’inscrit dans la famille MiniCPM-V 4.7, mais cette déclinaison met l’accent sur un format plus petit, pensé pour exécuter le modèle à proximité de l’utilisateur plutôt que de dépendre nécessairement d’un service distant. Elle est distribuée sous licence Apache 2.0 et introduit une compression précoce des jetons visuels, réglable en 4× ou en 16×. OpenBMB annonce des fonctions pour traiter des images, de la vidéo, du texte présent dans les images, des documents et des éléments visuels situés dans une scène, mais l’article ne fournit pas de validation indépendante de ces capacités. L’intérêt potentiel est donc de pouvoir expérimenter avec des contenus visuels sur des appareils locaux, tout en gardant à l’esprit que la taille du modèle, à elle seule, ne garantit ni une bonne qualité ni une exécution fluide. Et une annonce de compatibilité ne veut pas dire que le modèle est déjà installé sur un téléphone ou proposé dans toutes les applications : un logiciel doit encore l’intégrer et fonctionner avec l’appareil concerné.

NNoor

La compression intervient tôt, dans l’encodeur qui transforme l’image en jetons visuels, avant que les étapes suivantes du modèle ne les traitent. Une image peut produire beaucoup de ces unités, et les opérations qui suivent doivent ensuite travailler sur cette représentation ; en réduire le nombre en amont peut donc diminuer une partie du calcul ultérieur. OpenBMB propose deux réglages, 4× et 16×, pour moduler cette réduction. L’article d’AlphaSignal présente le réglage 4× comme celui qui conserve davantage d’informations visuelles, et le 16× comme une compression plus forte qui réduit plus nettement le nombre de jetons. Cela ne permet pas, à lui seul, de mesurer la qualité obtenue dans chaque cas : le résultat dépendra des images, de l’appareil et de la tâche, et aucune validation indépendante n’est fournie dans l’article. Pour comprendre la différence, on peut penser à une image où de petits caractères ou des détails fins sont importants : il faut vérifier qu’ils restent lisibles après le traitement. À l’inverse, pour décrire le contenu général d’une scène, tous les détails ne sont pas forcément aussi utiles. Il est donc raisonnable de comparer les deux réglages sur les contenus réellement prévus, plutôt que de supposer qu’un niveau de compression convient à tous les usages.

NNoor

OpenBMB annonce une prise en charge dès le lancement sur iOS, Android et HarmonyOS, ainsi que sur plusieurs familles de puces, notamment Rockchip, Houmo, Intel, AMD et Arm. L’éditeur cite aussi cinq formats de quantification : FP8, AWQ, GPTQ, GGUF et BNB. La quantification consiste à représenter les valeurs du modèle dans un format donné ; ces formats peuvent répondre à des contraintes différentes, mais leur présence dans la liste ne prouve pas que chacun fonctionne avec chaque système ou chaque appareil. Le modèle compte un milliard de paramètres : c’est une indication de sa taille, pas une mesure suffisante de sa vitesse ou de la mémoire nécessaire pour l’exécuter. Les usages cités comprennent l’analyse d’images et de vidéos, la reconnaissance optique de caractères, l’analyse de documents et l’ancrage visuel, c’est-à-dire la mise en relation d’une demande avec un élément repéré dans l’image. Des exemples possibles seraient de demander ce que montre une photo, ou de faire repérer du texte dans une page, mais ces capacités ne sont pas validées indépendamment dans l’article. Pour les développeurs, la licence Apache 2.0 et la diversité des formats annoncés peuvent servir de point de départ à des essais. Pour le public, cela ne signifie pas que le modèle est déjà intégré aux téléphones : il faut un logiciel compatible, et les résultats doivent être testés sur les appareils et les contenus visés.

NNoor

OpenBMB affirme que MiniCPM-V 4.7 1B dépasse Qwen3.5 0.8B en score global et en efficacité d’inférence, mais AlphaSignal précise que ces résultats viennent de l’éditeur et ne sont pas vérifiés indépendamment. Il faut donc les comprendre comme une comparaison annoncée, et non comme la preuve que MiniCPM-V sera supérieur dans toutes les tâches ou sur tous les téléphones. Un score global résume des évaluations, mais les informations disponibles ne donnent pas ici les éléments nécessaires pour reproduire indépendamment la comparaison. Les conditions de déploiement comptent aussi : le matériel, le format de quantification et le réglage de compression peuvent influer sur l’expérience, et il faudrait comparer les deux modèles dans les mêmes conditions. OpenBMB présente également Self-Replay Fine-Tuning, ou SRFT, comme une méthode destinée à limiter l’oubli catastrophique pendant la personnalisation du modèle. Cette expression désigne le risque qu’un modèle perde certaines capacités acquises lorsqu’il est adapté à de nouvelles données ou à de nouveaux objectifs ; l’annonce d’une méthode pour le limiter ne démontre toutefois pas qu’elle fonctionne dans tous les cas. Une équipe qui personnalise le modèle devrait donc vérifier ce qui change, y compris sur les tâches qu’elle veut conserver. Enfin, les fonctions annoncées pour les images, les vidéos et les documents méritent des essais sur des exemples représentatifs, surtout lorsque la reconnaissance de détails visuels est importante. Les comparaisons publiées donnent une indication sur ce qu’OpenBMB revendique, mais elles ne remplacent pas une évaluation adaptée à chaque usage.

NNoor

Il faut retenir qu’OpenBMB propose une version multimodale d’un milliard de paramètres destinée aux téléphones, aux tablettes et à d’autres appareils locaux, sous licence Apache 2.0. Sa particularité est notamment la compression précoce des jetons visuels, avec deux réglages, 4× et 16×, qui permettent de réduire la représentation de l’image à des degrés différents. Ce choix peut influer sur le compromis entre quantité de calcul et informations visuelles conservées ; il doit donc être évalué sur les tâches prévues, sans supposer qu’un réglage est toujours préférable. OpenBMB annonce la compatibilité avec iOS, Android, HarmonyOS et plusieurs formats de quantification, mais cela ne garantit ni une intégration dans les applications courantes ni des performances identiques sur tous les appareils. L’éditeur affirme que le modèle dépasse Qwen3.5 0.8B en score global et en efficacité d’inférence, une comparaison qui n’a pas été vérifiée indépendamment dans l’article. La méthode SRFT est, elle aussi, présentée comme un moyen de limiter l’oubli lors de la personnalisation, sans que son efficacité soit établie pour toutes les situations. Les développeurs peuvent donc voir cette publication comme une base à tester, plutôt que comme une promesse de résultat prête à l’emploi. Les essais doivent porter sur le matériel réellement ciblé, les réglages retenus et des images ou des documents proches des usages envisagés. C’est ce travail concret qui permettra de savoir si le modèle répond aux besoins, notamment lorsque des détails visuels précis comptent.