Un vaste corpus pour les langues indiennes

OOndine

NVIDIA, l’IIT Madras et son laboratoire AI4Bharat annoncent Nemotron-pretraining-Indic-v1, un corpus d’environ 2 800 milliards de tokens pour entraîner des modèles dans les 22 langues inscrites dans la Constitution indienne, dont la publication est annoncée comme prochaine, selon Hugging Face. Cette diversité permet de couvrir plusieurs écritures pour une partie des langues, en plus de leur écriture native. Le projet prévoit aussi un pipeline ouvert, accéléré par processeur graphique, pour générer les données à partir de documents sélectionnés. Sa documentation doit détailler les prompts, les workflows de modèles de langage et les contrôles qualité, afin que d’autres équipes puissent adapter cette méthode à leurs propres sources. Les données synthétiques sont produites à partir de documents anglais sélectionnés, notamment en mathématiques, en programmation et sous forme de questions-réponses. Chaque résultat est rattaché à un document source et vérifié par rapport à celui-ci. Le pipeline doit ainsi rendre visibles les étapes de génération et les contrôles appliqués aux données, tandis que le corpus associe une large couverture linguistique à une méthode de génération documentée et contrôlée.