Nvidia ouvre Flora, son moteur d'annotation vidéo pour la robotique
Nvidia publie en open source Flora, un moteur d'annotation de vidéos robotiques composé de trois modèles Qwen3.5 affinés, qu'il présente comme jusqu'à 125 fois moins coûteux que GPT-6 Astra. Le système est déjà utilisé pour entraîner les modèles GR00T du fabricant de puces.
Dans cet article
Nvidia met à disposition sur Hugging Face Flora, un moteur d'annotation destiné aux vidéos de robots, d'après The Decoder. Le groupe californien estime qu'étiqueter une heure d'enregistrement revient à environ 72 cents avec son outil, contre près de 88,50 $ en recourant à GPT-6 Astra.
Les grands modèles de robotique s'entraînent sur des séquences vidéo qui doivent être accompagnées de texte. Le laboratoire de recherche GEAR de Nvidia distingue trois familles d'annotations : la description des actions et leur positionnement dans le temps, l'évaluation de la progression étape par étape et le verdict sur la réussite d'une tâche. La plupart des outils disponibles n'en couvrent qu'une seule.
Trois modèles Qwen3.5 affinés pour couvrir les trois besoins
Flora repose sur trois modèles Qwen3.5 ajustés. Un modèle de 9B découpe la vidéo en segments d'action ; un modèle de 27B les décrit en tenant compte du contexte antérieur et postérieur. Un second modèle de 27B, baptisé Flora-Rewarder, remplit trois fonctions selon l'instruction reçue : noter la réussite d'un épisode sur une échelle de 1 à 5, classer chaque demi-seconde en étape normale, sous-optimale ou en échec, et attribuer des scores selon des grilles qu'il définit lui-même.
Nvidia indique que le système tourne déjà pendant l'entraînement de ses modèles GR00T, avec jusqu'à 200 000 heures de vidéo annotées par jour sur 512 GPU GB300.
Un avantage de coût qui reste théorique
Les 125 fois moins cher annoncés par Nvidia sont des projections et non des mesures en production. Le calcul s'appuie sur un prix de location supposé de 10 $ par GPU et par heure.
Sur un test portant sur 50 vidéos, Flora obtient des scores légèrement supérieurs à ceux de GPT-6 Astra, selon Nvidia, alors que le modèle d'OpenAI avait la possibilité d'exploiter toute sa capacité de raisonnement. Claude Opus 5 se classe nettement plus bas sur ce même test, pour un coût d'environ 42 $ par heure.
Les résultats restent contrastés selon les référentiels. Sur le benchmark public WGO-Bench, Flora détecte le mieux les frontières entre actions, mais recule derrière Astra au score global et derrière Gemini 3.8 Flash sur la seule exactitude descriptive. Les chercheurs attribuent ses gains à la localisation temporelle.
Sur DenseCaptionBench, le benchmark interne de Nvidia, Flora arrive en tête sur l'ensemble des métriques pour les enregistrements humains, mais se place deuxième derrière Astra sur les vidéos de robots. Les auteurs reconnaissent un biais méthodologique : GPT-6 Astra sert à la fois de modèle évalué et d'évaluateur des descriptions.
La détection des erreurs en cours d'épisode, principal point fort
Sur RoboRewardBench, le taux d'erreur de Flora est inférieur de 27,8 % à celui d'Astra. L'écart s'explique par les tâches partiellement accomplies : lorsqu'un robot renverse une bouteille au lieu de la faire tomber de la table, Flora attribue 3 points sur 5, comme la référence humaine, quand Astra n'en donne qu'un.
Flora-Rewarder identifie 53,3 % des étapes échouées au sein d'un épisode, aucun concurrent ne dépassant 11,7 % et Astra n'en repérant aucune. La contrepartie : environ 11 % des étapes normales sont signalées à tort comme des erreurs. Astra garde l'avantage sur la notation par grille et le classement de trajectoires.
Sur une vidéo comportant de nombreux mouvements courts de la main, Flora repère 34 des 37 actions individuelles, contre quatre pour Astra. Le modèle découpe toutefois parfois des actions longues en trop de micro-étapes et se trompe occasionnellement de description : une main robotique essuyant une assiette avec un chiffon est décrite comme le pliage d'une serviette.
Nvidia positionne Flora comme une alternative ouverte aux services commerciaux, à commencer par le Physical AI Data Engine de Scale AI. Le groupe investit massivement dans les modèles ouverts pour maintenir les développeurs dans son écosystème matériel et soutenir la demande de puces. Flora s'inscrit dans cette logique, aux côtés des travaux menés sur la simulation et le traitement automatisé des données, présentés lors du GTC de cette année. Google, avec Gemini 4 Argon, vise une partie comparable de la chaîne d'entraînement robotique.
