Backburner répartit l’inférence entre un Mac et un iPhone

OOndine

Backburner, un projet open source, utilise un iPhone relié en USB-C comme coprocesseur pour exécuter localement un grand modèle avec llama.cpp sur un Mac Apple Silicon, selon AlphaSignal. Le dispositif répartit les couches du modèle entre les deux appareils : le Mac prend en charge les couches 1 à 40, tandis que l’iPhone traite les couches 41 à 64. Backburner organise ensuite leur travail en pipeline, par lots de 256 tokens, afin de répartir l’inférence entre le Mac et le téléphone connecté. Sur un MacBook M4 Pro doté de 24 Go de mémoire, le projet annonce un gain de 29 à 44 % au préremplissage de Qwen3.8-27B, pour des contextes de 16 000 à 48 000 tokens. Le projet indique qu’un Mac de 24 Go pourrait traiter un contexte de plus de 128 000 tokens avec un cache KV en 8 bits, contre environ 64 000 tokens sans cette extension. Backburner affirme que les sorties resteraient identiques avec ou sans l’iPhone : le gain annoncé concernerait le débit, et non une approximation des résultats. L’intérêt revendiqué porte donc à la fois sur l’accélération du préremplissage et sur la possibilité de traiter des contextes plus longs, sous réserve des conditions de test décrites par le projet.