SO-101 zero to hero GitHub ENTR

Bir policy'yi ölçmek

Bir kez çalışan bir robot demosu neredeyse hiçbir şey kanıtlamaz. Bu sayfa, kendini kandırmanı engelleyecek kadar az istatistik.

Loss başarı değildir

Eğitim loss'u, modelin kaydedilmiş durumlarda kaydedilmiş hareketleri ne kadar iyi tekrar ettiğini ölçer. Başarı ise policy'nin kendi yarattığı durumlara bağlı (compounding error). Aynı loss'a sahip iki checkpoint kolda %30 ve %80 alabilir. Kestirme yok: sonuçları gerçek robotta sayarsın.

"24'te 18" ne kadar kesin?

Her deneme, yanlılığı bilinmeyen bir yazı tura. Wilson aralığı, gördüğünle uyuşan gerçek başarı oranlarının aralığını veriyor (%95):

centre = (p + z²/2n) / (1 + z²/n)
half   = z · sqrt( p(1−p)/n + z²/4n² ) / (1 + z²/n)        with p = successes/n, z = 1.96
Sonuç %95 aralık
18 / 24 (%75) %55 – %88
20 / 24 (%83) %64 – %93
6 / 24 (%25) %12 – %45
45 / 60 (%75) %63 – %84

24'te 18 ile 24'te 20 neredeyse tamamen üst üste biniyor: bu iddia edebileceğin bir iyileşme değil. 6'ya karşı 18 öyle. %75'i %85'ten ayırmak için birkaç yüz deneme lazım, o yüzden buna hiç girişme: 24 denemeyi bozuk ile çalışıyor'u ayırmak için kullan, sırada ne yapacağına da hata tiplerine bakarak karar ver.

Testi çalıştırmadan önce sabitle

Bunların hepsine önce karar ver ve policy sürümleri arasında aynı tut:

Denemeleri policy'nin hareketini gördükten sonra seçersen, farkında olmadan yapabildiklerini seçersin.

İki soru, iki sayı

Görevde birbirinden ayrılabilen iki beceri var. Onları ayrı puanla:

Soru Sayı Düşükse anlamı
Komut verilen cebe ve kasaya gitti mi? komuta uydu Cümle kullanılmıyor: bir veri dengesi sorunu
Alıp bırakmayı tamamladı mı? başarı Bir manipülasyon sorunu: kavrama tutarlılığı, kamera görüşü

Her seferinde 1. cebi kusursuzca OK kasasına boşaltan bir policy'nin manipülasyon becerisi yüksektir ama komuta uymada 12'de 1 alır. İkisinden hangisinin başarısız olduğunu bilmek, hangi bloğu yeniden kaydedeceğini söyler.

Hataları tipine göre kaydet

trial  pocket  bin     result   failure
1      3       ok      ✓
2      3       reject  ✗        wrong bin
3      5       ok      ✗        missed grasp

24 denemeden sonra hata sütunu senin kayıt planın olur. Kitabın büyük sistemler için anlattığı fikir de bu: her adımı değil, son durumu değerlendir ("parça kasada mı?") ve sonucu eğitime geri besle. π*0.6 bunu büyük ölçekte yapıyor: her denemeyi beklenenden iyi ya da kötü diye etiketliyor ve policy'yi bu etikete göre koşullandırıyor.

Yargıcı otomatikleştirmek

Üst kamera tepsiyi okumayı zaten biliyor, kasaları da okuyabilir. "Episode'dan sonra 3. cep boş ve REJECT kasasında bir parça fazla" gibi bir kontrol, her denemede çalıştırabileceğin bir doğrulayıcı. Kayıt → eğitim → değerlendirme zincirini sen izlemeden dönen bir döngüye çeviren şey bu. Bu repoya adını veren veri çarkı (flywheel) bu ve henüz kurulmadı.

Kaynaklar: Wilson (1927) score interval · SmolVLA paper (değerlendirme protokolü) · Vision Language Models, böl. 11 s. 474–475 ve 509–512