📄 RoboVLMs — 공식 저장소 팩트 논문 Towards Generalist Robot Policies: What Matters in Building Vision-Language-Action Models Xinghang Li et al. · arXiv:2412.14058 Nature Machine Intelligence 게재 수락 설계 목표 타겟: CALVIN, SimplerEnv, Open X-Embodiment 설계: "30줄 코드로 임의 VLM → 로봇 정책" HF 공개 체크포인트: KosMos 기반 3종만 마지막 업데이트: 2025년 초 이후 거의 없음 공식 지원 Backbone 현황 (GitHub README 기준) Backbone 검증 상태 우리 프로젝트와 관련 KosMos-2 ✅ 완전 검증 우리 Exp01~Exp16 (Kosmos backbone) — 공식 지원 범위 내 Flamingo ✅ 완전 검증 미사용 LLaVA ✅ 완전 검증 미사용 PaliGemma ⚠️ not fully tested E2E 8조합이 이 상태로 돌아간 것 — robopaligemma.py 존재하지만 미검증 PaliGemma 2 ❌ 언급 없음 exp64는 RoboVLMs를 우회한 이유가 여기에도 있음 Qwen, Uform, MoonDream ⚠️ 미완전 미사용 핵심: E2E 8조합 ablation은 공식적으로 "not fully tested" 상태의 PaliGemma backbone 위에서 돌렸다. lora_B=0 버그가 단순 우리 설정 문제가 아닌 이유 — PaliGemma 통합 자체가 미완성이었다. ⚡ 의도한 실험 vs 실제로 일어난 일 의도했던 것 - top{2,4,6,8} SigLIP 레이어에 LoRA 적용 - 각 depth에서 Vision 인코더가 얼마나 개선되는지 비교 - proj frozen vs tuned와 교차해 16조합 중 8개 측정 - "더 깊은 LoRA → 더 좋은 grounding?" 답하기 실제로 일어난 일 - 모든 8조합에서 lora_B = 0.000000 - Vision LoRA 파라미터 전혀 업데이트 안 됨 - 실제 변수는 projector frozen vs tuned 1개뿐 - 깊이별 차이 없음 — "frozen-vision E2E" 8회 반복 🔬 RoboVLMs 구조 결함 — 발견 과정 문제 코드: base_backbone.py › forward_continuous

forward_continuous 내부 (~line 1294)

if multimodal_embeds.requires_grad is False: multimodal_embeds.requires_grad_(True) # ← 이게 문제

requires_grad_(True)를 중간 텐서에 직접 호출하면:

→ 해당 텐서가 leaf tensor로 재등록됨

→ vision_tower와의 계산 그래프 연결이 끊김

→ 역전파 시 vision_tower까지 gradient 미도달

→ lora_B에 쌓이는 gradient = 0

forward_continuous 경로 Action 예측용 (E2E 학습) vision_tower → 인코딩 → re-leaf → LM → action head → vision LoRA gradient 0 generate() 경로 BBox 탐지용 (grounding) vision_tower → 인코딩 → decoder → token → vision LoRA gradient 정상 확인 방법 학습 후 lora_B tensor 직접 출력 → E2E 8조합 전부 0.000000 → exp64는 epoch 2에 TP=100% exp64가 generate() 경로를 쓰는 이유가 바로 이것. RoboVLMs를 우회해 직접 HF trainer로 돌려야 vision LoRA가 실제로 학습된다. ✅ RoboVLMs를 통해 실제로 얻은 것 ① E2E 0% → Decomposition 전환 근거 (음성 결과도 결과) Exp11 closed-loop 0% vs Step2 66.7%. RoboVLMs 기반 E2E가 작동하지 않는다는 것을 실험으로 증명했기 때문에 decomposition 전환이 설득력을 가짐. 논문에서 "우리가 E2E를 시도했고 왜 안 되는지 알아냈다"는 서사로 쓸 수 있음. ② 구조 버그 발견 → exp64 방향 설정 lora_B=0을 발견하지 않았으면 "왜 vision LoRA가 안 먹히는지" 영원히 모른 채 E2E를 반복했을 것. 버그 발견이 generate() 경로 우회 → exp64 설계로 이어졌음. ③ text attention = 0% 원인 확정 (Google-robot pretrain 기인) Exp15 head-only + E2E 8조합 모두에서 text=0% 재확인. 우리 LoRA 학습 방식 탓이 아닌 Google-robot post-training이 text 경로를 붕괴시킨 것으로 확정. Kosmos-2 backbone 선택의 타당성도 함께 재검토됨. ④ projector tuning 효과 (제한적이지만 유효) vision LoRA depth 비교는 불가능했지만, frozen vs tuned projector 비교는 실제로 일어났음. action head 학습 시 projector를 같이 풀면 어떻게 되는지에 대한 데이터는 남아있음. 🗺 RoboVLMs — 앞으로의 포지션 현재 우리 결과를 내는 경로 Decomposition Step2 MLP → RoboVLMs 미사용 exp64 Grounding LoRA → RoboVLMs 미사용 E2E ablation → RoboVLMs 사용, vision LoRA 깨짐 RoboVLMs 한계 PG1만 지원 (PG2 없음) CALVIN manipulation 설계 — 내비게이션 미고려 forward_continuous vision LoRA gradient 차단 수정 금지 (third_party) 결론: RoboVLMs는 E2E baseline 실험 인프라로서 역할을 마쳤다. 앞으로 새 실험(grounding LoRA, 의자 데이터 수집, MLP 재학습)은 모두 RoboVLMs를 우회하는 경로를 사용한다. 유지하되, 신뢰하지 않는다.