SO-101 zero to hero GitHub ENTR

Dataset'in içi

Programın kendisi dataset. Bu sayfa LeRobot'un yazdığı klasörü açıyor ve içinden tek bir eğitim örneğini takip ediyor.

Diskte (format v3.0)

outputs/datasets/so101-qc/
  meta/info.json                         fps, feature shapes, episode and frame counts
  meta/stats.json                        mean, std, min, max, quantiles per feature
  meta/tasks.parquet                     the 12 sentences, numbered
  meta/episodes/chunk-000/file-000.parquet   one row per episode: its frames, its sentence, where its video starts
  data/chunk-000/file-000.parquet        one row per frame: state, action, timestamp, indices
  videos/observation.images.top/chunk-000/file-000.mp4
  videos/observation.images.wrist/chunk-000/file-000.mp4

Birçok episode aynı video dosyasını paylaşıyor. Bir episode satırı, o dosyada hangi saniyede başladığını saklıyor; bir kare başlangıç + kendi timestamp'i noktasında bulunuyor. Video AV1: iki kameralı 30 sn'lik bir episode yüzlerce değil, birkaç megabayt.

Tek bir satır

Sütun Boyut Ne
observation.state 6 Follower'ın eklem konumları, derece cinsinden (gripper % olarak)
action 6 Aynı andaki leader eklem konumları: follower'a gönderilen komut
observation.images.top, .wrist 480 × 640 × 3 İhtiyaç olunca mp4'ten çözülüyor
timestamp, frame_index, episode_index, task_index skaler Kayıt tutma

action "follower'ın sonra yaptığı şey" değil. Leader'ı tuttuğun yer. Follower birkaç kare geriden gelir ve policy bu gecikmeyi hesaba katarak komut vermeyi öğrenir.

Tek bir eğitim örneği

pick a random frame i (any episode)
observation  = images and state at frame i, plus that episode's sentence
target       = actions at frames i, i+1, … i+49

Bir episode'un sonuna yakın 50'den az action kalır. Sonuncusu tekrarlanır ve o adımlar action_is_pad olarak işaretlenir, böylece loss'a sayılmazlar. Her episode'u başlangıç pozunda bitirmenin önemi bu yüzden: son gerçek action'lar policy'ye bir görevin nasıl bittiğini öğretiyor.

Normalizasyon: stats.json neden önemli

Birinci eklem 180° boyunca hareket ediyor, gripper %100 boyunca. Ham verilirse büyük sayılar loss'a hâkim olur. O yüzden state ve action her boyut için ayrı normalize ediliyor:

x_normalised = (x − mean) / std

Policy normalize edilmiş action'lar tahmin ediyor ve bunlar motorlara gönderilmeden önce geri çevriliyor. İki sonucu var:

Zamanlama da verinin parçası

Bir kare ancak görüntü ile eklem okuması aynı ana aitse işe yarar. Kitaptaki örnek: t = 1,50 sn'deki bir kareyi t = 1,58 sn'deki eklemlerle eşleştirmek yanlış eşlemeyi öğretir ve hata her episode'da tekrarlanır.

Burada neler ters gidebilir ve nasıl görürsün:

Sorun Sebep Kontrol
Düşen ya da geç gelen kareler CPU meşgul (canlı bir görüntüleyici, bir tarayıcı, video encoding) Görüntüleyici açmadan ve ağır hiçbir şey çalışmazken kaydet; bir episode'u tekrar oynat ve takılmaya bak
Bir kamera geriden geliyor USB hub bant genişliği, düşük ışıkta otomatik pozlama scripts/review.sh N içinde gripper iki görüntüde de aynı karede kapanmalı
Hiç kıpırdamayan bir eklem Okunmamış bir servo observation.state eğrisi düz
Follower takip etmiyor Düşük besleme voltajı, aşırı yük action ve observation.state eğrileri birbirinden uzaklaşıyor

Görevler sadece string

--dataset.single_task tasks.parquet içinde bir kez saklanıyor ve her kareden index'iyle referans veriliyor. Başka bir cümleyle yeni bir blok kaydetmek o tabloya bir satır ekliyor. Bir cümleyi yanlış yazdıysan sonradan düzelt:

uv run lerobot-edit-dataset --repo_id=you/so101-qc --root=outputs/datasets/so101-qc \
  --new_root=outputs/datasets/so101-qc --operation.type=modify_tasks \
  --operation.episode_tasks='{"12": "put the part from pocket 3 in the OK bin"}'

Model cümleyi bir tokenizer üzerinden okuyor, yani pocket 3 ile pocket three farklı girdiler. Tam olarak bir iki token'la ayrışan on iki cümle temiz bir deney: policy neyi farklı yapıyorsa o token'lar yüzünden yapıyor.

Kaynaklar: LeRobot 0.6.1 kaynak kodu (datasets/, processor/normalize_processor.py) · LeRobot dataset v3 docs · Vision Language Models, böl. 4 s. 147–160 ve böl. 11 s. 506–507