Apertus 1.5, du texte aux images et à l’audio

LLéna

Apertus 1.5 fait évoluer la famille de modèles ouverts Apertus : comment lui faire comprendre des images et de l’audio sans changer son architecture ? La publication, mise en ligne mercredi sur arXiv, est une prépublication. La méthode passe par le tokenizer, qui permet de faire entrer ces nouveaux types de contenus dans le modèle. Imaginez une boîte aux lettres : différents courriers peuvent arriver, mais le système qui rédige la réponse reste le même. Ici, l’architecture ne change pas, et la tête du modèle, la partie qui produit la réponse, reste limitée au texte. Apertus 1.5 peut donc traiter des images et de l’audio, mais sa sortie demeure textuelle. Les modèles de 8 et de 70 milliards de paramètres ont reçu un préentraînement supplémentaire. Le premier a été entraîné sur 4 000 milliards de jetons de plus, et le second sur 2 000 milliards. La fenêtre de contexte, c’est-à-dire la quantité de contenu que le modèle peut prendre en compte, a été quadruplée : elle atteint 262 144 jetons. Ces ajouts prolongent le travail sur les modèles précédents, plutôt que de reposer sur une architecture nouvelle. La mise au point comprend aussi plusieurs étapes. Un affinage spécifique vise les longs contextes. L’apprentissage par renforcement utilise des récompenses vérifiables, autrement dit des résultats que l’on peut contrôler. L’équipe ajoute également un alignement par préférences, une étape destinée à orienter les réponses selon des préférences prises en compte pendant l’entraînement. La publication indique que les nouveaux modèles progressent sur presque tous les tests comparés à leurs prédécesseurs. Elle précise aussi que des modèles spécialisés en vision ou en audio restent meilleurs sur certaines tâches de perception et de transcription. Il faut donc retenir à la fois l’élargissement des capacités et cette limite : les performances ne dépassent pas celles des spécialistes dans tous les domaines.