L'outil du jour

Transformers ajoute des modèles multimodaux

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Ondine

Hugging Face publie la version 5.24 de Transformers, sa bibliothèque pour utiliser des modèles d’intelligence artificielle, avec plusieurs ajouts multimodaux, d’après GitHub. Inkling 2 Mini, conçu par Thinking Machines Lab, reçoit du texte et des images, puis produit du texte. Son architecture comprend 24 couches de décodeur. Les couches 6 à 17 sont exécutées trois fois dans une boucle. Pour chaque jeton traité, le modèle fait appel à 8 experts parmi 128. Ces détails décrivent son fonctionnement, tandis que son usage multimodal porte sur l’analyse d’images et de texte, avec une réponse écrite. La mise à jour intègre aussi Apertus 1.5, développé par la Swiss AI Initiative. Ce modèle accepte du texte, des images et de l’audio, mais sa sortie se limite au texte. Il peut donc traiter ces trois types d’entrées, sans produire lui-même d’image ni de son. Autre ajout, WavTokenizer encode et décode de l’audio mono à 24 kilohertz en jetons discrets. Selon le checkpoint, il convertit l’audio à 40 ou 75 jetons par seconde. Sa variante à 40 jetons par seconde sert de tokenizer audio à Apertus 1.5. Les développeurs peuvent ainsi s’appuyer sur cet outil pour encoder un signal audio en jetons, puis le reconstruire. Et même si WavTokenizer sait reconstruire l’audio, Apertus 1.5, lui, ne génère ni son ni image.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.