DeBERTa-v3-small, un encodeur compact de Microsoft

LLéna

Microsoft Research propose DeBERTa-v3-small, un encodeur anglophone dont les résultats se rapprochent de ceux de modèles deux fois plus grands, selon AlphaSignal. Le modèle dispose d’un vocabulaire de 128 000 tokens et s’entraîne avec une méthode inspirée d’ELECTRA : au lieu de masquer des mots, il apprend à repérer les tokens remplacés dans le texte. Cette approche sert à entraîner un modèle capable de traiter des textes en anglais, notamment pour plusieurs tâches de compréhension et d’analyse du langage. Sur deux tests de référence, il obtient 88,3 sur MNLI-m et un score F1 de 82,8 sur SQuAD 2.0, des résultats comparables à ceux de modèles dont le backbone contient environ deux fois plus de paramètres. Ces scores montrent que le modèle compact reste compétitif sur des tâches de compréhension et de réponse à des questions. Mais attention au chiffre souvent associé à sa taille : les 44 millions de paramètres annoncés correspondent au backbone seul, sans la table d’embeddings. Le checkpoint complet atteint environ 142 millions de paramètres, dont près de 98 millions pour ces embeddings, liés à son large vocabulaire. Sous licence MIT, DeBERTa-v3-small peut servir à la classification de textes, à l’inférence en langage naturel, à la détection d’injections de prompt ou au reclassement léger. AlphaSignal rapporte aussi environ 777 000 téléchargements sur Hugging Face pour le mois étudié, ainsi que 213 versions affinées et 20 dérivés quantifiés. L’article précise que ces chiffres peuvent inclure des téléchargements automatisés et qu’ils sont susceptibles d’évoluer ; ils ne permettent donc pas, à eux seuls, de mesurer l’usage humain du modèle.