HybridInfer et le routage des inférences

MMarc

HybridInfer étudie le routage des inférences de grands modèles de langage entre un smartphone, un équipement en périphérie du réseau et le cloud, dans un travail présenté sur arXiv. Les auteurs indiquent que, sur un smartphone haut de gamme équipé d’une puce Snapdragon, plusieurs générations consécutives exécutées directement sur l’appareil peuvent déstabiliser le moteur d’inférence utilisant le processeur graphique, jusqu’à provoquer un plantage ou un blocage silencieux. Le problème ne se limite pas, selon eux, à un appareil déjà échauffé : il peut apparaître même lorsque le téléphone est froid, et s’aggraver pendant de longues générations. Les auteurs mettent en cause la chaîne logicielle actuelle, en particulier la compilation de noyaux OpenCL et le préremplissage de longs prompts sur le processeur graphique mobile. Ces étapes interviennent dans l’exécution des modèles sur l’appareil, et les difficultés signalées montrent que la stabilité dépend aussi du fonctionnement de cette chaîne logicielle, pas seulement des capacités matérielles du téléphone. Pour réduire la pression sur le matériel mobile, HybridInfer présente le routage entre des modèles exécutés sur l’appareil, en périphérie de réseau et dans le cloud comme une piste de répartition des inférences. Les auteurs estiment toutefois que les routeurs existants prennent rarement en compte la température des appareils et sont souvent évalués en simulation ou hors des appareils mobiles. Leur travail attire donc l’attention sur une limite concrète de l’exécution locale soutenue : les décisions de routage doivent considérer les contraintes thermiques et les conditions d’usage mobile, alors que les évaluations actuelles ne les reproduisent pas toujours. Il ne permet pas pour autant d’affirmer que le routage proposé élimine les risques de plantage ou de blocage.