LaWAM

lawam adalah adapter LeRobot untuk LaWAM, sebuah model aksi dunia laten untuk kebijakan robot yang sadar dinamika. Model ini menggabungkan backbone Qwen3-VL, model aksi/dunia laten, dan kepala aksi flow-matching, sambil mengekspos antarmuka kebijakan, pelatihan, dan evaluasi standar LeRobot.

Sumber daya:

Instalasi

Instal LeRobot dengan ekstra LaWAM:

pip install -e ".[lawam]"

Instal dependensi benchmark LIBERO dan kunci MuJoCo ke 3.3.2 saat mereproduksi evaluasi LaWAM LIBERO yang dirilis:

pip install -e ".[lawam,libero]" "mujoco==3.3.2"

Tingkat keberhasilan benchmark LIBERO sangat sensitif terhadap versi simulator MuJoCo. Rilis MuJoCo yang lebih baru dapat secara signifikan menurunkan tingkat keberhasilan LIBERO yang terukur, termasuk untuk kebijakan di luar LaWAM. Ini adalah masalah kompatibilitas lingkungan evaluasi, bukan masalah adapter LaWAM. Gunakan mujoco==3.3.2 untuk mereproduksi hasil LIBERO LaWAM yang dirilis dan hasil paper secara persis.

Checkpoint LaWAM menggunakan format model.safetensors native dari LeRobot. State lengkap LAM, adapter VLM, dan flow-head dipulihkan melalui policy.path; file .pt asli LaWAM tidak dimuat oleh adapter. Arsitektur LAM dan DINOv3 direpresentasikan secara langsung oleh LaWAMConfig dan tidak memerlukan unduhan checkpoint terpisah.

Jaga agar policy.base_vlm tetap diatur ke ID model Hub portabel. Pengaturan cache standar Hugging Face, seperti HF_HOME, mengontrol di mana file Qwen disimpan secara lokal tanpa menambahkan jalur yang spesifik untuk mesin tertentu ke konfigurasi policy atau processor.

Fine-Tuning

Lakukan fine-tune dari kebijakan LaWAM pretrained asli:

lerobot-train \
  --policy.path=jialei02/lawam-pretrain-lerobot \
  --dataset.repo_id=jialei02/libero_merged_no_noops_20hz \
  --dataset.image_transforms.enable=false \
  --rename_map='{"observation.images.wrist_image":"observation.images.image2"}' \
  --policy.action_horizon=8 \
  --policy.n_action_steps=8 \
  --policy.clip_normalized_actions=true \
  --policy.pre_snap_gripper_action=true \
  --policy.binarize_gripper_action=true \
  --policy.repo_id=your_org/lawam_sft

Adapter menggunakan statistik dataset LeRobot untuk normalisasi aksi dan keadaan sebelum membangun batch pelatihan LaWAM. Aksi pose menggunakan normalisasi min-max, sementara resep LIBERO secara eksplisit membulatkan kanal gripper ke nilai biner 0/1 untuk sesuai dengan kontrak pelatihan LaWAM native. Hal ini memetakan kedua konvensi dataset -1/+1 dan 0/1 ke target model yang sama. Checkpoint pretrained mempertahankan nilai pretraining-nya, yaitu action_horizon=24 dan n_action_steps=24; resep SFT LIBERO menimpa keduanya menjadi 8 sambil mempertahankan chunk_size=50 sebagai panjang urutan Flow yang di-pad. Pelatihan menggunakan FPS dataset saat ini untuk enkoding waktu alami LaWAM, dan processor mempersistensikan frekuensi tersebut sebagai fallback evaluasi. policy.num_video_frames mengontrol jendela frame observasi.

Resep pretraining LaWAM dan SFT LIBERO yang dirilis tidak menggunakan augmentasi gambar acak. Prosesor kebijakan hanya menerapkan resize deterministik dan normalisasi ImageNet yang diperlukan oleh backbone Qwen dan LAM. Transformasi gambar pada level dataset LeRobot tetap tersedia untuk resep pelatihan yang dirancang secara terpisah.

Checkpoint LaWAM yang dirilis menggunakan ruang aksi/keadaan bantalan 32 dimensi secara internal. Pertahankan policy.flow_action_dim=32 dan policy.flow_state_dim=32 kecuali Anda melatih checkpoint dengan dimensi aliran yang berbeda.

Evaluasi

Evaluasi checkpoint SFT LIBERO asli melalui evaluator standar:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --env.type=libero \
  --env.task=libero_object \
  --eval.n_episodes=10

Repositori Hub mencakup konfigurasi kebijakan serta pipeline preprocessor dan postprocessor lengkap, termasuk tensor normalisasi dan pemrosesan gripper LIBERO.

Untuk menjalankan benchmark LIBERO yang dapat direproduksi dengan checkpoint LIBERO SFT yang dirilis, evaluasi semua suite dan ID tugas dalam satu pemanggilan:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --policy.device=cuda \
  --env.type=libero \
  --env.task=libero_spatial,libero_object,libero_goal,libero_10 \
  --env.task_ids='[0,1,2,3,4,5,6,7,8,9]' \
  --eval.n_episodes=50 \
  --output_dir=outputs/lawam_libero

Laporkan tingkat keberhasilan untuk semua 10 tugas di setiap suite. Gunakan setidaknya 50 episode per tugas saat melaporkan angka benchmark.

Hasil referensi untuk checkpoint LIBERO SFT yang dirilis dengan 50 episode per tugas. Angka-angka ini dihasilkan dengan MuJoCo 3.3.2. Sebagai pemeriksaan lingkungan, tugas 5 libero_spatial meningkat dari 18/50 keberhasilan dengan MuJoCo 3.8.1 menjadi 47/50 keberhasilan dengan MuJoCo 3.3.2.

Pemilihan Kamera

Checkpoint LaWAM menyimpan peran kamera utama dan pergelangan tangan secara eksplisit, bukan dengan menginferensi semantik dari nama seperti image2. Saat membangun kebijakan LaWAM multi-kamera baru, konfigurasikan kedua peran tersebut:

--policy.primary_image_features='["observation.images.front"]' \
--policy.wrist_image_features='["observation.images.wrist"]'

policy.lam_image_feature memilih kamera utama yang frame temporalnya dikonsumsi oleh model aksi laten. Nilainya secara default adalah kamera utama pertama yang dikonfigurasi dan ditulis secara eksplisit saat konfigurasi policy disimpan.

Bidang Runtime

Bidang kebijakan spesifik LaWAM yang umum:

Sitasi

@misc{chen2026lawam,
  title = {LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies},
  author = {Chen, Jialei and Wang, Kai and Chen, Kang and Chen, Shuaihang and Gao, Feng and Tang, Wenhao and Li, Zhiyuan and Liu, Weilin and Yao, Zhuyu and Li, Boxun and Xu, Yuanbo and Yu, Chao},
  journal = {arXiv preprint arXiv:2606.15768},
  year = {2026},
  archiveprefix = {arXiv},
  primaryclass = {cs.RO},
}