Rho-1, un modèle pour voir, raisonner et agir

EElias

Alors, Reka a publié Rho-1 en aperçu de recherche : c’est un modèle de 19 milliards de paramètres qui traite et génère du texte, des images, des vidéos et des actions robotiques dans un même réseau, d’après AlphaSignal. L’ambition est de faire tenir dans un seul système des tâches que beaucoup d’architectures confient à plusieurs modèles spécialisés. L’un pourrait comprendre une image, un autre produire une vidéo, et un troisième préparer les commandes d’un robot ; il faut alors transmettre des informations entre ces composants. Rho-1 cherche plutôt à conserver les différents éléments dans un contexte commun, pour qu’une consigne, une image ou un contenu généré puissent servir aux étapes suivantes. Brief IA situe Rho-1 dans les recherches sur les modèles du monde, qui visent à représenter un environnement et son évolution. Cela ne signifie pas que le modèle reproduit le monde réel dans toute sa complexité : il s’agit d’une orientation de recherche, et Reka présente le système comme un aperçu, pas comme un produit robotique prêt à l’emploi.

EElias

En fait, les différentes modalités sont représentées dans une même fenêtre de contexte : les consignes et les informations visuelles déjà présentes peuvent rester disponibles pour les opérations qui suivent. AlphaSignal décrit deux flux de poids spécialisés, qui partagent un mécanisme d’attention ; autrement dit, ils consultent des éléments de contexte communs pendant leur traitement. Le premier flux traite notamment le langage et les informations visuelles, tandis que le second sert à générer des images et des vidéos. On peut se représenter cela comme deux équipes qui travaillent sur des formats différents, mais qui gardent le même carnet de bord sous les yeux. Dans une démonstration décrite par AlphaSignal, une personne demande d’abord une scène avec un phare, puis sa localisation dans l’image, avant de demander une animation évoquant un déplacement de drone et l’ajout d’une tempête de neige. Le modèle peut alors s’appuyer sur les étapes précédentes plutôt que de recommencer toute la demande à chaque changement.

EElias

Reka affirme que Rho-1 peut produire de la vidéo en continu et intégrer une nouvelle instruction pendant la génération, sans redémarrer. En pratique, cela voudrait dire qu’un utilisateur pourrait demander une modification alors que la scène se construit encore, au lieu d’attendre la fin pour relancer le travail. Reka présente cette capacité comme une génération en temps réel, mais Rho-1 reste un aperçu de recherche. AlphaSignal décrit aussi une version distillée, appelée Rho-1 Flash, qui produit des séquences de 5,3 secondes en environ une seconde, avec 8 étapes de débruitage. Ils ne suffisent toutefois pas à établir que toutes les séquences seraient détaillées, cohérentes ou faciles à modifier. La génération continue et l’ajout de consignes sont des capacités annoncées par Reka, et non la preuve que chaque scénario d’usage a déjà été validé.

EElias

Les usages envisagés se situent à la rencontre de la compréhension visuelle, de la création vidéo et du contrôle robotique. Un même système pourrait, par exemple, interpréter les images d’une caméra et produire des actions associées, au lieu de faire passer chaque étape entre plusieurs modèles indépendants. Reka indique que les mêmes poids servent à prédire les images de caméra et à piloter les mouvements des robots ; c’est un élément central de l’approche, mais cela ne prouve pas à lui seul qu’un robot peut être contrôlé de façon fiable dans toutes les situations. L’entraînement de Rho-1 a mobilisé 320 processeurs graphiques H100 pendant environ 3 mois, selon AlphaSignal. Pour compenser le manque de données d’entraînement robotiques, Reka a conçu un modèle de dynamique inverse qui extrait des signaux de contrôle à partir de vidéos ordinaires trouvées sur Internet, d’après The Decoder. Il s’agit donc d’une méthode décrite pour exploiter des exemples vidéo, et non d’une démonstration que ces exemples suffisent à entraîner un robot pour une tâche donnée.

EElias

Des limites mentionnées dans le compte rendu d’AlphaSignal, mais non confirmées dans les éléments disponibles, concerneraient une résolution maximale de 672 par 384 pixels, une dérive de la structure sur les séquences longues et des difficultés à comprendre ou modifier certaines vidéos. Quant à la compréhension et à la modification d’une vidéo, elles supposent de repérer ce qui se passe et de ne changer que les éléments demandés ; les difficultés rapportées indiqueraient que ces opérations ne sont pas toujours maîtrisées. Ces points restent à présenter avec prudence, puisque le compte rendu les mentionne sans confirmation dans les éléments disponibles. Et comme Rho-1 est un aperçu de recherche, son annonce ne permet pas de conclure qu’il est déjà disponible comme système fiable pour piloter des robots en conditions réelles.

EElias

Ce qu’il faut retenir, c’est que Reka explore la réunion de la perception, de la génération et de l’action dans un même modèle, avec un contexte partagé plutôt qu’une succession de services spécialisés. L’intérêt recherché est de garder le fil d’une interaction : une image pourrait être interprétée, transformée en vidéo, puis associée à une étape suivante sans changer de système. Reka affirme que les mêmes poids servent à prédire les images de caméra et à piloter les mouvements des robots, tandis que la méthode de dynamique inverse vise à exploiter des vidéos ordinaires pour obtenir des signaux de contrôle. Mais ces éléments décrivent une direction de recherche et des capacités annoncées, pas une validation de tous ces usages dans des conditions concrètes. Rho-1 compte 19 milliards de paramètres et son entraînement a mobilisé 320 processeurs graphiques H100 pendant environ 3 mois ; cette échelle donne une idée du travail engagé, sans suffire à mesurer les performances. Les limites rapportées sur la résolution, la cohérence des longues séquences et la compréhension ou la modification des vidéos appellent aussi à ne pas confondre démonstration et fiabilité générale. Rho-1 est donc un aperçu de recherche sur la façon dont un modèle pourrait relier ce qu’il reçoit, ce qu’il génère et les actions robotiques qu’il produit.