SO-101 zero to hero GitHub ENTR

Sırada ne denenir

Bunların her biri net bir sorusu olan tek bir deney. Bunları SmolVLA baseline'ının bir puanı olduktan sonra yap: baseline olmadan bir şeyin işe yarayıp yaramadığını anlayamazsın.

Daha büyük bir policy: Cosmos 3 Edge

nvidia/Cosmos3-Edge 4 B parametreli bir world model: tek bir ağla video, metin ve action üretiyor, yani SmolVLA gibi takıp çalıştırabileceğin bir VLA değil. LeRobot (0.7 ve sonrası) onu bir policy olarak fine-tune edebiliyor:

lerobot-train --policy.type=cosmos3_edge --policy.pretrained_path=lerobot/Cosmos3-Edge \
  --policy.load_action_modules=false --dataset.repo_id=fport/so101-qc ...

Sim-to-real: Cosmos 3 Nano Sim-Transfer

nvidia/Cosmos3-Nano-Sim-Transfer simülatör çıktısını (derinlik, segmentasyon ya da kenarlar) ve bir metin prompt'unu fotogerçekçi videoya çeviriyor. Bu repoda hücrenin bir MuJoCo kopyası ve onu çözen script'li bir uzman var (uv run flywheel-sim batch).

Grounding: LocateAnything

nvidia/LocateAnything-3B "gear with a missing tooth" (dişi eksik dişli) gibi bir metin prompt'u için kutular ya da noktalar (0–1000 koordinat) döndürüyor. Demo.

Pekiştirmeli öğrenme (RL)

Taklit, gösterimlerinin kalitesinde durur. RL, kolun kendi denemelerinden ve bir başarı sinyalinden öğrenerek onları aşmasını sağlar. LeRobot HIL-SERL ile geliyor (gerçek kolda human-in-the-loop RL). Ödülü muayene kamerası verebilir: "parça komut verilen kasada mı?". Buna ancak taklit bir platoya ulaşınca başla.

Daha yeni bir LeRobot

Bu repo LeRobot 0.6.1'e sabitlenmiş (kol onunla kalibre edildi ve test edildi). 0.7, Cosmos 3 policy'lerini ve uzaktan inference'ı ekliyor. Dataset formatı (v3.0) aynı, yani 0.6.1'de kaydedip 0.7'de eğitebilirsin.