Flora, l’outil de Nvidia pour annoter les vidéos de robots

TThéa

D’après The Decoder, Flora rassemble dans un même moteur 3 formes d’annotation vidéo, souvent proposées séparément. Il peut décrire les actions visibles, évaluer la progression d’un robot au fil d’une tâche, puis juger si cette tâche a été menée à bien. Ces annotations sont destinées à l’entraînement des modèles robotiques et au suivi de leur comportement. Nvidia indique que Flora est déjà employé pendant l’entraînement de ses modèles GR00T. L’entreprise affirme également que le système peut traiter jusqu’à 200 000 heures de vidéo par jour, en mobilisant 512 processeurs graphiques GB300. Ce volume correspond à une capacité annoncée par Nvidia, et non à une mesure indépendante de l’usage quotidien.

TThéa

Alors, Flora ne désigne pas un robot, mais un moteur qui produit des annotations pour des vidéos de robots. Une première famille d’annotations indique quelle action se déroule et à quel moment. Une deuxième évalue la progression, étape après étape. La troisième porte sur le résultat global : la tâche est-elle réussie ou non ? D’après The Decoder, ces 3 catégories servent respectivement à sélectionner des vidéos d’entraînement, à suivre les progrès étape par étape et à surveiller les robots déployés. L’outil regroupe ainsi ces différents types d’annotations dans un même moteur. Leur exactitude, elle, doit être examinée à partir des résultats des évaluations.

TThéa

Le système repose sur 3 modèles Qwen3.5 ajustés pour cette tâche, disponibles sur Hugging Face. Le premier compte 9 milliards de paramètres et découpe une vidéo en segments correspondant aux actions détectées. Les 2 autres comptent chacun 27 milliards de paramètres ; l’un décrit les actions en tenant compte de ce qui s’est passé avant et après, tandis que l’autre évalue les épisodes et les étapes. Ce second modèle d’évaluation s’appelle Flora-Rewarder. Selon la consigne reçue, il peut attribuer une note à la réussite d’un épisode, classer des étapes ou appliquer des critères d’évaluation. Le modèle de 9 milliards de paramètres s’occupe donc du découpage, et les modèles de 27 milliards assurent la description et l’évaluation.

TThéa

Bon, les modèles ont des rôles distincts : l’un segmente les actions, un autre les décrit et le troisième évalue les épisodes et les étapes. Une séquence riche en mouvements courts illustre ce que peut faire le modèle de segmentation : dans un test rapporté par Brief IA, Flora a repéré 34 actions sur 37, contre 4 pour GPT-6 Astra. Flora-Rewarder peut, lui, examiner les étapes d’une tâche et signaler celles qu’il classe comme des échecs. Les modèles sont disponibles sur Hugging Face. Leurs résultats varient toutefois selon les évaluations, et les descriptions ou les segments produits peuvent comporter des erreurs.

TThéa

Flora produit des annotations destinées à l’entraînement et à la surveillance des robots. Dans un test de 50 vidéos, Nvidia indique que Flora obtient un score légèrement supérieur à GPT-6 Astra. L’entreprise estime le coût d’annotation à environ 0,72 dollar par heure de vidéo avec Flora, contre environ 88,50 dollars avec Astra. C’est sur ces estimations que repose l’annonce d’un coût jusqu’à 125 fois inférieur. Nvidia rapporte aussi une qualité d’annotation de 57,1 % pour Flora, contre 53,7 % pour Astra. Le coût est projeté à partir d’un tarif supposé de 10 dollars par processeur graphique et par heure de location ; ce n’est pas une facture observée en production. Les résultats du test portent sur 50 vidéos et ne démontrent pas les performances en conditions de production.

TThéa

La comparaison associe donc une estimation de coût à des résultats issus d’un test limité. Nvidia calcule le coût de Flora à partir d’un tarif de location supposé de 10 dollars par processeur graphique et par heure. Les montants annoncés ne sont pas des mesures effectuées en production. Le score de qualité rapporté est lui aussi tiré du test de 50 vidéos. Il faut distinguer ces résultats publiés d’une mesure des coûts et des performances en conditions réelles. Les chiffres donnent une comparaison annoncée par Nvidia, mais ne démontrent pas que les mêmes résultats seront obtenus en production.

TThéa

Les résultats changent selon les tests, ce qui ne permet pas de désigner un vainqueur sur tous les aspects. Sur WGO-Bench, Flora repère mieux les limites temporelles des actions, mais GPT-6 Astra obtient un meilleur score global. Sur DenseCaptionBench, Astra décrit plus précisément les vidéos de robots. Sur RoboRewardBench, Flora présente un taux d’erreur 27,8 % inférieur à celui d’Astra, d’après The Decoder. Ce résultat concerne cette évaluation particulière et ne démontre pas une supériorité générale. Brief IA signale aussi une réserve méthodologique : GPT-6 Astra participe à l’évaluation des descriptions tout en faisant partie des modèles comparés. Cette situation complique l’interprétation des scores.

TThéa

Les exemples détaillés montrent des résultats ciblés. Dans une séquence comprenant de nombreux mouvements courts de la main, Flora repère 34 actions sur 37, contre 4 pour GPT-6 Astra. Le test porte ici sur le nombre d’actions identifiées dans cette séquence. Flora peut toutefois découper une séquence de façon excessive ou attribuer une description erronée à un mouvement. Pour l’évaluation des étapes, Flora-Rewarder détecte 53,3 % des étapes échouées au cours d’un épisode, quand les concurrents cités atteignent au plus 11,7 %, et qu’Astra n’en détecte aucune dans ce test. En contrepartie, le modèle signale à tort environ 11 % des étapes normales comme des erreurs. Il peut donc repérer des étapes échouées tout en produisant aussi de faux signalements.

TThéa

Les chiffres de coût et de qualité reposent sur des estimations et des tests limités ; ils ne démontrent pas les performances de Flora en conditions de production. Les résultats détaillés sont rapportés par Nvidia ou issus de ces évaluations. Flora peut aussi segmenter excessivement des actions, produire des descriptions erronées et signaler comme des erreurs certaines étapes normales. Enfin, la comparaison des descriptions soulève une question de méthode, puisque GPT-6 Astra intervient à la fois dans l’évaluation et parmi les modèles évalués. Ces éléments limitent ce qu’on peut conclure à partir des scores publiés. Ils ne garantissent ni le coût ni la précision de Flora en production.

TThéa

L’intérêt de Flora tient à l’association de 3 fonctions dans un moteur ouvert : décrire les actions, suivre leur progression et juger la réussite d’une tâche. Nvidia dit déjà l’utiliser pour entraîner GR00T et annonce une capacité de traitement importante. Les comparaisons montrent que Flora repère mieux certaines limites d’action et certaines étapes échouées. Mais Astra garde l’avantage sur plusieurs évaluations, tandis que Flora peut sursegmenter, se tromper dans ses descriptions et signaler des étapes normales comme des erreurs. Le coût de 0,72 dollar par heure, face à environ 88,50 dollars pour Astra, est une projection, pas une économie constatée en production. Même prudence pour les scores de qualité, qui reposent sur un test limité et une méthode discutée. Les résultats publiés ne suffisent pas à établir les coûts et les performances de Flora en conditions de production.