Locals, un serveur local pour les agents de programmation

MMarc

Generated Computers a publié Locals, un serveur d’inférence local open source pour les puces Apple Silicon, selon AlphaSignal. Distribué sous licence Apache 2.0, l’outil est conçu pour exécuter plusieurs agents de programmation en parallèle, plutôt que pour le dialogue classique avec un seul utilisateur. Pour gérer ces tâches simultanées, Locals regroupe les requêtes parallèles et réutilise les préfixes des prompts, afin d’éviter de recalculer des parties déjà traitées. Il exécute aussi sur le processeur graphique les contraintes de grammaire qui structurent les appels d’outils. Locals est compatible avec les interfaces de programmation d’OpenAI, d’Anthropic et d’Ollama, et s’intègre notamment à OpenCode, Cline, Aider, OpenHands et Claude Code. Dans un test des mainteneurs, sur un Mac M2 Pro doté de 16 gigaoctets de mémoire et avec le modèle Qwen3.5-4B, Locals aurait atteint environ 3 fois le débit de mlx-lm avec 8 requêtes simultanées ; à une seule requête, les performances seraient proches. Ce résultat annoncé concerne donc surtout l’exécution en parallèle, et non un gain comparable dans tous les usages. Le débit n’a pas encore été reproduit de manière indépendante ; il pourrait varier selon les modèles, les réglages et les conditions de test, et reste à confirmer par des essais indépendants.