LeRobot

実世界のロボティクスにおける最先端の機械学習

🤗 LeRobotは、SO-ARM101のような手頃な価格のロボットアームからフルヒューマノイドまで、実世界のロボットを制御するための、ハードウェア非依存のPythonネイティブインターフェースを提供します。さらに、それらが生成するデータセットを記録、保存、共有するためのツールも備えています。すべてのデータセットは、標準化されたLeRobotDataset形式（同期された動画とアクション/状態データ）を使用し、Hugging Face Hubから直接ストリーミングできます。

🤗 そのデータの上に、LeRobotは最先端のポリシーを実装しています。ACTのような軽量な模倣学習モデルから、π₀やSmolVLAのような大規模なビジョン・言語・アクションモデルまで、すべてが同じ少数のCLIコマンドで学習、共有、デプロイが可能です。

目標: ロボティクスの参入障壁を下げ、すべての人が共有データセットや事前学習済みモデルに貢献し、その恩恵を受けられるようにすること。

仕組み

遠隔操作 → 記録 → 学習 → デプロイ

1. テレオペレーション - リーダーアーム、キーボード、またはスマートフォンを使用してロボットを自分で操作し、その動きから学習できるようにします。
2. Record - 各デモは、同期されたカメラ映像と実行したアクションを含むデータセットとして保存されます。
3. Train - ポリシー（ロボットを制御するニューラルネットワーク）が、あなたのデモを模倣するように学習します。
4. デプロイ - 学習済みポリシーをロボット上で実行し、タスクを自律的に完了する様子を確認します。

はじめる

初めてですか？何かをインストールする前に、LeRobot データセットの構造を確認してみましょう：

👀 まずデータセットを確認する

lerobot/svla_so101_pickplace を LeRobot Dataset Visualizer で開き、ロボットの状態とアクションをフレーム単位で、カメラの録画映像と並べて確認できます。インストールは不要です。Hub 上の任意の LeRobot データセット、ご自身のものにも対応しています。使用方法をご覧ください。

自分で試してみませんか? LeRobotをインストールし、以下のいずれかのパスを選択してください:

ドキュメントを探索する

よくある問題

問題が発生しましたか？最もよくある問題のいくつかを以下に示します。

• ぼやけた、または使用できないカメラ映像 - 解像度よりも照明が重要です。カメラの設置と照明を参照してください。
• ビルドまたはインストールエラー（cmake、ffmpeg、CUDA）- インストールガイドのトラブルシューティングセクションを参照してください。
• どのポリシーがGPUに適合するか不明な場合は、Compute & Hardware Guideをご確認ください。
• まだ詰まっていますか？ Discordで質問してください。コミュニティ（およびLeRobotチーム）がサポートします。