Baidu publie Unlimited OCR 2 pour les documents longs

CCapucine

Baidu a publié mardi Unlimited OCR 2, un modèle vision-langage conçu pour analyser en une seule requête des documents de plusieurs centaines de pages, selon AlphaSignal, dans l’article « Baidu Open-Sources Unlimited OCR 2 to Parse Hundreds of Pages Without Breaking ». La publication est sous licence MIT et propose des voies d’inférence avec Transformers, SGLang et vLLM. Les détails techniques rapportés par MarkTechPost indiquent 3,34 milliards de paramètres et une longueur maximale de 131 072 jetons. Baidu l’a testé sur un processeur graphique NVIDIA A800 de 80 gigaoctets. L’architecture décrite comprend les encodeurs SAM ViT-B et CLIP-L, ainsi qu’un décodeur à 12 couches qui combine plusieurs experts. Baidu ne précise pas le nombre de paramètres actifs. Pourquoi cette publication compte-t-elle pour les documents longs ? Découper un dossier en portions peut faire perdre les liens entre les pages. Un tableau peut se poursuivre plus loin, une référence renvoyer à un passage antérieur, et la mise en page influer sur l’ordre de lecture. Le mode multipage vise à préserver ces relations et à produire du contenu structuré, notamment des tableaux, des formules, des figures et des titres.

CCapucine

Pour préserver cette continuité, Baidu a conçu SR-SWA, un mécanisme d’attention qui résume l’historique visuel et textuel dans un pool de référence de taille fixe. Ainsi, le modèle n’aurait pas à reparcourir à chaque étape tout ce qui a été traité depuis le début. L’attention classique peut demander davantage de calcul à mesure que la séquence s’allonge. SR-SWA cherche à limiter cette croissance en conservant une représentation condensée des pages précédentes. La mémoire et le coût du décodage par étape resteraient presque constants quand le document s’allonge. Mais le traitement entier ne garde pas nécessairement la même durée : l’encodage des images et le temps total augmentent avec le nombre de pages. Le mécanisme vise donc à réduire la pression liée à l’historique pendant le décodage, sans supprimer le coût de lecture des pages supplémentaires. La limite annoncée de 131 072 jetons décrit la longueur maximale du contexte, pas une durée de traitement constante pour tous les dossiers.

CCapucine

Sur les évaluations, Baidu annonce 84,6 sur MPDocBench et 77,1 sur MarathonDocBench. Ces scores sont auto-déclarés par Baidu et pourraient varier selon les paramètres retenus pour l’évaluation. MarkTechPost précise ne pas avoir retrouvé de publication publique de MarathonDocBench. Ces réserves invitent à interpréter les comparaisons avec prudence : les scores ne suffisent pas à établir comment le modèle se comporterait sur tous les documents utilisés en pratique. Sur MarathonDocBench, le modèle obtient aussi 48,2 pour la hiérarchie des titres, son sous-score le plus faible rapporté par MarkTechPost. Cette mesure porte sur la restitution des niveaux de titres. Elle ne résume pas à elle seule les résultats sur l’extraction de texte, les tableaux, les formules, les figures ou l’ordre de lecture. MarkTechPost compare le score global annoncé à celui de Kimi-K3, mais cette comparaison repose sur les résultats communiqués par Baidu et sur un benchmark dont l’article n’a pas retrouvé de publication publique. Baidu présente donc un mécanisme destiné à limiter la croissance du coût de décodage et des scores sur des tests de documents longs. Pour les interpréter, il faut garder à l’esprit qu’ils sont auto-déclarés et que la publication publique de MarathonDocBench n’a pas été retrouvée par MarkTechPost.