L'outil du jour

llama.cpp formalise ses règles de compatibilité

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Léna

llama.cpp est un projet open source qui permet d’exécuter des modèles d’intelligence artificielle sur différentes machines, et sa version 1.0 formalise les règles de compatibilité pour les développeurs dont les applications utilisent ses bibliothèques, d’après Hugging Face. Publiée vendredi, cette version marque un engagement à rendre les interfaces plus stables. Si une évolution de l’interface de programmation, ou de l’interface binaire utilisée par les logiciels compilés, devient incompatible, llama.cpp et ggml devront le signaler par une augmentation de version majeure. Concrètement, les équipes qui intègrent ces bibliothèques peuvent repérer plus clairement les mises à jour susceptibles de demander une adaptation. Cela ne signifie pas que toute mise à jour sera compatible : le projet prévoit justement de signaler les incompatibilités de cette façon. ggml, le moteur d’apprentissage automatique associé à llama.cpp, peut charger à l’exécution des backends compilés en bibliothèques dynamiques. llama.cpp prend en charge plus de 150 variantes d’architectures de modèles et les principales méthodes de décodage spéculatif. Le projet indique aussi renforcer son infrastructure de tests continus, avec davantage de machines de test sur différentes plateformes matérielles. Pour augmenter sa capacité de vérification, il dit s’appuyer sur HF Buckets et HF Jobs afin de tester chaque changement sur les branches principales. La publication comprend également des optimisations pour CUDA, Vulkan et ARM, des améliorations de prise en charge de modèles et des correctifs de sécurité du serveur, selon GitHub.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.