Камеры и датчики сторонних производителей

Экосистема LeRobot значительно шире, чем набор нативно поддерживаемых камер (OpenCV, Intel RealSense, ZMQ, Reachy 2). Благодаря архитектуре плагинов LeRobot сообщество создало готовые к подключению интеграции камер и датчиков — от камер глубины до тактильных сенсоров на основе компьютерного зрения. На этой странице представлены интеграции камер и датчиков, поддерживаемые сообществом, которые вы можете использовать для телеуправления, сбора данных и развёртывания политик.

Эти проекты разрабатываются и поддерживаются сторонними разработчиками. Для получения инструкций по установке, требований к аппаратному обеспечению и информации о поддержке обратитесь к соответствующему репозиторию.

Плагины с поддержкой «drop-in» обнаруживаются автоматически по имени пакета: LeRobot импортирует любой установленный пакет с префиксом lerobot_camera_. После установки ссылайтесь на type камеры, который регистрирует плагин (см. его README — он может отличаться от имени пакета), непосредственно из любой команды LeRobot:

pip install lerobot_camera_<name>

lerobot-record \
    --robot.type=so101_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/my-dataset \
    --dataset.single_task="Describe your task here" \
    --dataset.num_episodes=5

Тактильные датчики

Камеры глубины

Сетевые камеры

Виртуальные камеры

Внесение вклада

Создали собственную камеру LeRobot или интеграцию датчика? Упакуйте её в устанавливаемый плагин lerobot_camera_<name>, и LeRobot CLI обнаружит его автоматически — начните с руководства Bring Your Own Hardware и справочника Cameras, а затем поделитесь своим проектом с сообществом!