LeRobot documentation
제3자 카메라 및 센서
제3자 카메라 및 센서
LeRobot 생태계는 네이티브로 지원하는 카메라(OpenCV, Intel RealSense, ZMQ, Reachy 2)를 훨씬 넘어서 확장됩니다. LeRobot의 플러그인 아키텍처 덕분에 커뮤니티는 깊이 카메라부터 비전 기반 촉각 센서까지 다양한 카메라 및 센서 통합을 드롭인으로 구축했습니다. 이 페이지에서는 텔레오퍼레이션, 데이터 수집, 정책 배포에 사용할 수 있는 커뮤니티 관리 카메라 및 센서 통합을 소개합니다.
이 프로젝트들은 제3자에 의해 개발 및 유지 관리됩니다. 설치 방법, 하드웨어 요구 사항 및 지원에 대해서는 각 저장소를 참조하십시오.
Drop-in 플러그인은 패키지 이름으로 자동 감지됩니다. LeRobot은 lerobot_camera_ 접두사가 붙은 설치된 모든 패키지를 가져옵니다. 설치 후, 해당 플러그인이 등록하는 카메라 type을(README를 참고하세요 — 패키지 이름과 다를 수 있습니다) 모든 LeRobot 명령에서 직접 참조할 수 있습니다:
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5촉각 센서
| 프로젝트 | 설명 |
|---|---|
| lerobot-camera-xense | Xense 비전 기반 촉각 센서를 위한 플러그인으로, 보정/차이 이미지, 깊이, 2D 마커를 노출합니다. |
| lerobot_camera_paxini | Paxini PX-6AX GEN3 다차원 촉각 센서(1개 taxel당 3축 힘, 9~239개 taxel)용 플러그인으로, taxel 배열을 힘 벡터 또는 히트맵 이미지로 렌더링합니다. |
깊이 카메라
| 프로젝트 | 설명 |
|---|---|
| lerobot_camera_berxel | Berxel 깊이 카메라용 플러그인으로, 더 넓은 HEXFELLOW 드라이버 스위트의 일부입니다. |
| lerobot_camera_zed | Stereolabs ZED 카메라(ZED 2/2i/Mini, ZED X 패밀리, ZED X One)용 공식 플러그인으로, 메트릭 깊이, 하드웨어 타임스탬프, SVO 녹화를 지원합니다. |
| lerobot_camera_oak | USB 또는 PoE(DepthAI v3)를 통한 Luxonis OAK 및 OAK4 카메라용 플러그인, 선택적 깊이 맵 및 포인트 클라우드 지원. |
네트워크 카메라
| 프로젝트 | 설명 |
|---|---|
| lerobot_camera_zmq | 플러그인 스트리밍 Stereolabs ZED 및 Raspberry Pi의 USB 카메라 프레임을 네트워크를 통해 전송합니다. |
가상 카메라
| 프로젝트 | 설명 |
|---|---|
| lerobot_camera_dummy | 하드웨어 없이 녹화를 위해 카메라를 시뮬레이션하는 플러그인입니다. 디버깅에 유용합니다! |
기여하기
직접 LeRobot 카메라 또는 센서 통합을 구축하셨나요? 설치 가능한 lerobot_camera_<name> 플러그인으로 패키징하면 LeRobot CLI에서 자동으로 감지됩니다. Bring Your Own Hardware 가이드와 Cameras 참고 문서를 확인하여 시작해 보시고, 커뮤니티에 프로젝트를 공유해 주세요!