LeRobot v0.6.0: Imagine, Evaluate, Improve

オープンソースとオープンサイエンスを通じて、人工知能の進歩と民主化を目指す旅を続けています。

Hugging Face Blog · Jul 7, 2026

LeRobot v0.6.0: Imagine, Evaluate, Improve

今回のリリースは、ロボット学習ループを閉じることを目的としています。行動する前に未来を想像するポリシー、成功を判断する報酬モデル、失敗を学習データに変えるデプロイメントCLI、そしてそれを測定するための6つの新しいシミュレーションベンチマークが追加されました。また、深度センシング、VLMを活用したデータセットアノテーション、カスタム動画エンコード、HF Jobsによるクラウドトレーニング、そして大幅に軽量化されたインストールも提供します。

TL;DR

LeRobot v0.6.0では、未来を想像することを学習するワールドモデルポリシー（VLA-JEPA、FastWAM、LingBot-VA）、新しいVLA群（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT）、および新しい報酬モデルAPI（Robometer、TOPReward）が導入されます。6つの新しいシミュレーションベンチマークがlerobot-evalに統合され、DAggerスタイルのヒューマンインザループ補正機能を備えたlerobot-rollout CLI、FSDPトレーニング、HF Jobsによるクラウドトレーニングが提供されます。データセットには深度サポート、自動言語アノテーションパイプライン、カスタム動画エンコード、最大2倍高速なデータロード機能が追加され、インストールも軽量化されています。

ワールドモデル：想像するポリシー

ロボティクス界では、「ワールドモデルは実際にロボットポリシーに役立つのか？」という大きな問いが提起されています。v0.6.0では、その問いに答えるために3つのポリシーがLeRobotに追加されました。それぞれがトレーニングの一環として未来を想像することを学習し、その想像を低コストに保つための異なるアプローチを採用しています。

VLA-JEPA

VLA-JEPAは、Qwen3-VL-2Bを基盤とするコンパクトなVLAに、行動を学習しながら潜在空間で未来を予測させるものです。トレーニング中、JEPAワールドモデルはモデル自身の行動から次のフレームを予測する必要があります。このワールドモデルは推論時には消失するため、追加の推論コストなしでワールドモデルの監督を実現できます。Hubにはすぐに使えるチェックポイントが3つ用意されており、DROIDで事前学習されたベースモデルもファインチューニング用に提供されています。

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_finetuned_policy

詳細はVLA-JEPAドキュメントおよび論文をご覧ください。

LingBot-VA

LingBot-VAはさらに一歩進んだアプローチを採用しています。未来の動画と行動をチャンクごとに同時に予測する自己回帰型ビデオアクションモデルで、実観測をフィードバックすることで想像を現実的に保ちます。ロボットが想像した内容を保存（--policy.save_predicted_video=true）して実際の結果と比較することも可能です。推論は単一の24〜32GB GPUで実行できます。技術的な詳細はドキュメントと論文をご覧ください。

FastWAM

FastWAMは論文タイトルで問いかけています。「ワールドアクションモデルにはテスト時の未来想像が必要か？」このモデルは約50億パラメータのビデオ生成エキスパートとコンパクトなアクションエキスパートを単一のネットワークに統合し、文字通り自分のロールアウトを夢見ることを学習します。推論時には夢見る処理をスキップし、直接アクションチャンクをノイズ除去します。lerobot/fastwam_baseからファインチューニング可能で、詳細はドキュメントをご覧ください。

VLA：モデル動物園の成長

GR00T N1.7

NVIDIA GR00T統合を最新のオープン世代であるGR00T N1.7にアップグレードしました。N1.7は、Qwen3-VLを基盤とするCosmos-Reason2-2BをVLMとして採用し、フローマッチングアクションヘッドに接続します。統合はNVIDIAのオリジナルIsaac-GR00T実装と同等性が検証されており、同じ入力・出力を実現します。Flash Attentionはオプション化され、pip install 'lerobot[groot]'で動作するようになりました。また、NVIDIAが公開したチェックポイントを直接読み込むことができます。

GR00T N1.7はLeRobotでN1.5に置き換わります。N1.5が必要な場合はlerobot==0.5.1を指定してください。

MolmoAct2

Allen Institute for AIのビジョン言語行動モデルであるMolmoAct2がLeRobotに移植され、ファインチューニング（フルまたはLoRA）、評価、実機展開を含む完全なライフサイクルがサポートされます。キャリブレーション補正が組み込まれた既製チェックポイントにより、SO-100/101でゼロショット実行が可能です。

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
  --task="pick up the red cube" --duration=30

推論はbf16で約12GB、LoRAファインチューニングは単一の24GB GPUで動作します。完全な展開ガイドはMolmoAct2ドキュメントをご覧ください。

EO-1

視覚・テキスト・行動がインターリーブされたデータで事前学習されたVLAであるEO-1がLeRobotに加わりました。Qwen2.5-VL-3Bバックボーンにフローマッチングアクションヘッドを組み合わせたもので、論文著者の1人から提供されています。--policy.type=eo1を指定して標準的なlerobot-trainワークフローでトレーニングできます。詳細はドキュメントおよび論文をご覧ください。

Multitask DiT

Multitask Diffusion Transformerポリシーは、TRI Large Behavior ModelsのレシピをLeRobotに取り入れています。CLIPの視覚・言語埋め込みで条件付けされた約4.5億パラメータの拡散トランスフォーマーで、自然言語で選択された複数のタスクを1つのモデルで学習します。拡散およびフローマッチングの両方の目的関数をサポートし、自分でトレーニングできるほどコンパクトです。詳細はドキュメントをご覧ください。

EVO1

VLAは必ずしも巨大である必要はありません。EVO1は0.77Bパラメータにポリシーを圧縮しており、InternVL3-1Bバックボーンにフローマッチングアクションヘッドを組み合わせ、控えめなGPUでもリアルタイムでファインチューニング・実行が可能です。2段階ファインチューニングとReal-Time Chunkingサポートが標準で搭載されています。詳細はEVO1ドキュメントおよび論文をご覧ください。

報酬モデル：ロボットの成功を知る

成功検出と進捗推定はロボット学習ループに欠けていた要素であり、v0.6.0でこれらに居場所が与えられました。LeRobotにはポリシーAPIを模倣した統合報酬モデルAPI（lerobot.rewards）が追加され、1つのインターフェースで4つの報酬モデル（HIL-SERL報酬分類器、SARM、および2つの新機能）が利用できます。

Robometer

Robometerは事前学習済みの汎用報酬モデルです。lerobot/Robometer-4Bを任意のLeRobotデータセットに向けるだけで、タスクの進捗と成功を生の動画と言語指示からスコアリングでき、タスク固有のトレーニングは不要です。Qwen3-VL-4Bを基盤とし、100万以上のロボット軌道データセットに対する軌道比較を通じてトレーニングされています（RSS 2026論文）。

TOPReward

TOPRewardは完全なゼロショットを実現します。報酬重みは一切使用せず、市販のVLM（Qwen3-VL）をラップして、軌道動画とタスク指示からトークン「True」の対数確率を読み取ります。任意の有能なVLMが報酬関数になります。

どちらのモデルも、フレームごとの進捗曲線をデータセットに書き込むラベリングスクリプトが同梱されており、報酬を考慮した行動クローニング（RA-BC）、データセット品質検査、進捗オーバーレイ動画の作成に利用できます。RobometerおよびTOPRewardのドキュメントをご覧ください。

データセット：高速なロードと豊富なデータ

コーデックは自由に選択

録画はハードコードされた単一のコーデックに縛られなくなりました。新しい--dataset.rgb_encoder.*オプションにより、コーデック、品質、ピクセルフォーマット、GOP、プリセットを含む完全なエンコードサーフェスが公開され、vcodec=autoはNVENC、VideoToolbox、VAAPI、QSVなどのハードウェアエンコーダーを検出し、デフォルトのソフトウェアAV1エンコーダーにフォールバックします。既存のデータセットに対しては、1つのコマンドで全動画を再エンコードできます。

lerobot-edit-dataset \
    --repo_id ${HF_USER}/my_dataset \
    --operation.type reencode_videos \
    --operation.rgb_encoder.vcodec h264 \
    --operation.rgb_encoder.crf 23

詳細は動画エンコードドキュメントをご覧ください。

エンドツーエンドの深度サポート

Intel RealSenseを接続し、use_depth: trueを設定するだけで、LeRobotは深度マップをエンドツーエンドで記録します。ミリメートル単位でキャプチャされ、RGBカメラと並行してコンパクトな12ビット深度動画ストリームとして圧縮され、トレーニング時に物理単位にデコードされます。深度は録画中およびlerobot-dataset-vizでライブ表示され、SO-100/101、Koch、OpenArm、reBot、Unitree G1など幅広いロボットで動作します。

大規模言語アノテーション

データセットはエピソードごとに1つのタスク文字列に留まりません。LeRobotデータセットは現在、リッチな言語アノテーション（タイムスタンプ付きサブタスク、計画、メモリ、補正、音声、カメラごとのVQAペア）をネイティブに保存し、新しいlerobot-annotate CLIはエピソードを監視するVLMを使用して自動的にこれらを埋めます。

lerobot-annotate \
    --repo_id=${HF_USER}/my_dataset \
    --new_repo_id=${HF_USER}/my_dataset_annotated \
    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
    --push_to_hub=true

YAMLレシピレイヤーは、これらのアノテーションをサンプル時にチャット形式のトレーニングメッセージにレンダリングします。これは、将来の長期的・会話型ロボットポリシーがトレーニングする正確なデータです。HF Jobsでスケールアップ可能で、詳細はアノテーションパイプラインドキュメントをご覧ください。

最大2倍高速なデータロード

動画データセットのトレーニングが標準で最大約2倍高速になりました。マルチカメラフレームは並列デコードされ、データローダーワーカーはコンパクトなuint8フレームを転送（プロセス間メモリが4分の1）、永続ワーカーはエポック間でデコーダキャッシュを保持します。大規模データセットのサブセット（episodes=[...]）のロード時間が、数分からミリ秒単位（275秒から0.06秒）に短縮されました。サンプリングも決定論的かつ再開可能になり、トレーニング中断時にサンプル単位で正確に再開できます。

ベンチマーク：すべてを評価する単一のCLI

v0.5.0でLeRobotはVLAの評価ハブとしての旗を掲げ、v0.6.0では6つの新しいシミュレーションベンチマークを追加し、すべて同じlerobot-eval CLIから実行可能になりました。各ベンチマークにはドキュメントページ、Dockerイメージ、CIでスモークテストされたSmolVLAベースラインチェックポイントが用意されています。

LIBERO-plusは、照明、カメラ視点、書き換えられた指示など7つの軸にわたるLIBEROの約10,000の摂動バリアントでVLAをストレステストし、ポリシーがどこで破綻するかを示します。
RoboTwin 2.0は、SAPIEN上で50の両手操作タスクを重いドメインランダマイゼーションでカバーし、Hubに10万以上の学習用軌道を提供します。
RoboCasa365は、モバイルマニピュレータ上で2,500のプロシージャル生成キッチンにおける365のキッチンタスクをカバーし、ラインナップの中で最大のタスクサーフェスを持ちます。
RoboCerebraは、言語で根拠づけられた中間指示の下で3〜6のサブゴールを連鎖させるエピソードで長期行動を評価し、6,660エピソードのデータセットを備えます。
RoboMMEは記憶の試験です。ポリシーは繰り返しを数え、隠された物体を追跡し、実演された手順を模倣できるでしょうか？4つの記憶スイートにわたる16タスクです。
VLABenchは操作における知識と推論をテストし、物理学の問題からコーヒーを淹れるエンドツーエンドの複合タスクまでを扱います。

lerobot-eval \
  --policy.path=lerobot/smolvla_robotwin \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.n_episodes=100 --eval.batch_size=1

シミュレータバックエンドはそれぞれ固有のシステム依存関係を必要とし、インストール手順も異なります。各ドキュメントページに正確な手順が記載されており、セットアップをスキップしたい場合は、各ベンチマークに既製のDockerイメージが提供されています。

LIBERO、Meta-World、NVIDIA IsaacLab-Arenaと合わせて、9つのベンチマークファミリが1つの屋根の下に集結し、新しいベンチマーク追加ガイドでは独自のベンチマークの統合方法を詳しく説明しています。評価も高速化され、並列評価はデフォルトで非同期ベクトル化環境を使用し、最大2倍の高速化がベンチマークされています。

トレーニングと推論

`lerobot-rollout`：デプロイメント専用のCLI

以前はポリシーのデプロイはlerobot-recordの上にハックとして実装されていました。新しいlerobot-rollout CLIはデプロイメントを独立したワークフローとし、プラグイン可能な戦略と推論バックエンド（対応する低速VLA向けのReal-Time Chunkingを含む）を提供します。base戦略は単にポリシーを実行します。sentryは継続的に記録し、エピソードをローテーションしてHubにアップロードします。highlightはリングバッファを保持し、キーを押すと最後のN秒を保存するため、興味深い瞬間を逃しません。episodicは従来のエピソード/リセット記録ワークフローを再現します。そしてdaggerはデプロイメントをデータ収集に変えます。

DAgger戦略では、ポリシーの動作を監視し、問題が発生した瞬間にキー（またはUSBフットペダル）を押し、リーダーアームで操作を引き継いで補正を記録し、制御を戻します。アクチュエートされたリーダーは引き継ぎ前にフォロワーの姿勢に駆動されるため、手渡しはスムーズです。すべての補正フレームにはinterventionフラグが付けられ、生成されたデータセットは次のファインチューニングに即座に使用できます。

lerobot-rollout \
    --strategy.type=dagger \
    --policy.path=${HF_USER}/my_policy \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --dataset.repo_id=${HF_USER}/dagger_corrections \
    --dataset.single_task="Grasp the block"

デプロイ、補正収集、ファインチューニング、繰り返し：ロボット学習のフライホイールがCLIフラグになりました。デプロイメントドキュメントをご覧ください。

FSDP：GPUを超えるモデルのトレーニング

ロボット基盤モデルは単一GPUの能力を超えつつあります。LeRobotトレーニングはAccelerateを通じてFSDP（Fully Sharded Data Parallel）をサポートするようになりました。パラメータ、勾配、最適化状態がGPU間でシャーディングされ、チェックポイントは通常の単一ファイルmodel.safetensorsとして集約され、他のポリシーと同様に読み込めます。異なるGPU数でのFSDP実行の再開も可能です。マルチGPUトレーニングドキュメントをご覧ください。

HF Jobsによるクラウドトレーニング

GPUがなくても問題ありません。全く同じlerobot-trainコマンドに1つのフラグを追加するだけでクラウドで実行できます。

lerobot-train \
  --dataset.repo_id=${HF_USER}/so101_test \
  --policy.type=act \
  --policy.repo_id=${HF_USER}/my_policy \
  --job.target=a10g-small

LeRobotは必要に応じてローカルデータセットをプライベートHubリポジトリにプッシュし、ジョブをサブミットし、ログを端末にストリーミングし、トレーニング終了時にポリシーをHubにプッシュします。--job.targetでT4から8x H200まで選択可能で、コンピュートは従量課金制です。ドキュメントをご確認ください

コードベース：軽量化と整理

pip install lerobotが真に軽量になり、ベース依存関係が約40%削減されました。機能ごとのエクストラ（[training]、[core_scripts]、[evaluation]など）で残りをカバーし、依存関係不足エラーは追加すべきエクストラを正確に指示します。LeRobotデータセットのみを使用する場合、ハードウェア関連の依存関係をインストールする必要がなくなりました ;)
サポートされるPyTorchは2.7〜2.11に移行し、CUDA 12.8 wheelsがLinux uvインストールで標準で固定されます。--policy.dtype=bfloat16はAccelerateを通じて実際の混合精度トレーニングを駆動します。
コミットされたuv.lockはCI、Docker、開発のための権威ある依存関係仕様となり、ドキュメントにはすべてのステップでuvインストール経路が記載され、1つのフラグでCUDA wheelを選択できます。
--display_mode=foxgloveは遠隔操作、記録、ロールアウトをFoxglove（ロボティクス界で既に広く使われている可視化ツール）にストリーミングします。リモートセットアップでも動作し、lerobot-dataset-vizはスクラブ可能なデータセット再生を提供します。
pipインストール可能なlerobot_env_*パッケージは環境を自己登録するようになりました。プラグインシステムはロボット、カメラ、テレオペレータ、ポリシー、環境の5つのコンポーネントタイプすべてをカバーします。
記録中のキーボード制御がWayland、SSH、ヘッドレスリグ、アクセシビリティ権限なしのmacOSで動作するようになりました。

完全なリストと破壊的変更の移行ガイドラインについてはリリースノートをご覧ください。

コミュニティとエコシステム

LeLabはLeRobotのワークフロー全体（キャリブレーション、遠隔操作、記録、ローカルまたはHF Jobsでのトレーニング、デプロイ）をブラウザUIに集約し、CLIは不要です。現在SO-ARM101をサポートしています。お試しください！
Isaac Teleopは、NVIDIAのIsaac Teleopスタックを通じてCloudXR/OpenXR経由でVRコントローラーによりSO-101を遠隔操作可能にし、NVIDIAチームとの共同作業の成果です。ドキュメントをご覧ください。
新しく作成されたコンピュートハードウェアガイドは、すべての初心者が尋ねる2つの質問に答えます。必要なGPUはどれか、トレーニングにはどれくらいの時間がかかるか？各ポリシーファミリの測定されたVRAM範囲と、RTX 4090から4x H100までの参考トレーニング時間を提示します。
書き直されたポリシー追加ガイドは、PRなしで独自のポリシーをツリー内またはプラグインパッケージとして提供する方法を示します。

最後に

これらの主要機能以外にも、v0.6.0にはよりスマートなデフォルトからより信頼性の高いCIまで、コードベース全体にわたる数百のバグ修正、ドキュメント改善、品質向上アップグレードが含まれています。

コミュニティの皆様に心より感謝申し上げます。このリリースには、学術界、産業界、趣味のチームから、モデルやベンチマークのホームとしてLeRobotを選んでくださった方々の貢献が含まれています。すべてのPRとバグレポートがオープンソースロボティクスを前進させています。

今後の展開にご期待ください 🤗 始めるにはこちら！ – LeRobotチーム ❤️

Read the original source

Hugging Face Blog

Publisher

Originally by Steven Palma, Pepijn Kooijmans, Caroline Pascal, Khalil Meftah, Maxime Ellerbach, Martino Russi, Nikodem Bartnik, Nicolas Rabault, Thomas Wolf

0 Comments

No comments yet. Be the first to share your thoughts.