# Korean Instruction Test 결과 (2026-01-07)

## ❌ 테스트 실패: Instruction이 무시되고 있음

### 실행 정보
- **일시**: 2026-01-07 07:50:28
- **체크포인트**: `epoch_epoch=06-val_loss=val_loss=0.067.ckpt`
- **모델**: Mobile VLA (Chunk 5, Kosmos-2 VLM frozen)

---

## 📊 테스트 결과

### Test 1: Instruction Mapping ✅
모든 시나리오 ID → 한국어 instruction 변환 성공
```
✓ left   → 가장 왼쪽 외곽으로 돌아 컵까지 가세요
✓ right  → 가장 오른쪽 외곽으로 돌아 컵까지 가세요
✓ 1      → 가장 왼쪽 외곽으로 돌아 컵까지 가세요
✓ 2      → 가장 오른쪽 외곽으로 돌아 컵까지 가세요
```

### Test 2: DataLoader ❌
```
✗ ERROR: BaseTaskDataset.__init__() missing 1 required positional argument: 'image_fn'
```
*테스트 코드 수정 필요 (사소한 문제)*

### Test 3: Inference with Korean Instructions ❌ **[핵심 문제]**

#### LEFT 시나리오
```
Instruction: 가장 왼쪽 외곽으로 돌아 컵까지 가세요
Model Output (Chunk 5):
  [[ 1.021015  -0.8792776]   # linear_y = -0.88 (우회전!) ❌
   [ 1.0651003 -0.8978964]
   [ 1.093043  -0.883037 ]
   [ 1.1357828 -0.8850137]
   [ 1.1476902 -0.8689922]]
```

**기대**: `linear_y > 0` (좌회전)  
**실제**: `linear_y = -0.88` (우회전)  
**결론**: ❌ **LEFT instruction이 무시됨**

---

## 🔍 근본 원인 분석

### 1. **Kosmos-2 VLM의 한국어 처리 능력 부족**
- Kosmos-2는 **영어 중심** pre-training
- 한국어 tokenization은 작동하지만 **semantic understanding 실패**
- Frozen VLM이므로 한국어 학습 불가능

### 2. **VLA 논문 조사 결과**
주요 VLA 모델 (OpenVLA, RT-2, RoboFlamingo, Octo, π0):
- ✅ **모두 영어 instruction 사용**
- ❌ 한국어 학습 사례 없음
- ⚠️ Multilingual은 zero-shot transfer로만 지원 (성능 저하)

**참고 문서**: `docs/MULTILINGUAL_VLA_SURVEY.md`

---

## 🎯 결론 및 권장 사항

### **즉시 조치**: 영어 Instruction으로 변경 및 재학습

#### 이유
1. ❌ 현재 한국어 instruction은 **작동하지 않음** (검증됨)
2. ✅ Kosmos-2 VLM은 **영어에 최적화**
3. ✅ VLA 논문 **표준 준수** (OpenVLA, RT-2)
4. ✅ Instruction grounding **성능 향상 기대**

#### 예상 소요 시간
- Dataset loader 수정: 5분
- Instruction mapping 수정: 5분
- 재학습 (Chunk 5, 10 epochs): **30-60분**
- 검증 테스트: 10분
- **총 50-80분**

---

## 📋 실행 계획

### 1. Dataset Loader 수정
**파일**: `RoboVLMs_upstream/robovlms/data/mobile_vla_action_dataset.py`
**Line 141-150** (현재 한국어):
```python
# BEFORE (Korean)
self.scenario_instructions = {
    "1box_vert_left": "가장 왼쪽 외곽으로 돌아 컵까지 가세요",
    "1box_vert_right": "가장 오른쪽 외곽으로 돌아 컵까지 가세요",
    ...
}

# AFTER (English)
self.scenario_instructions = {
    "1box_vert_left": "Navigate around the obstacle on the left side and reach the cup",
    "1box_vert_right": "Navigate around the obstacle on the right side and reach the cup",
    "1box_hori_left": "Navigate around the obstacle on the left side and reach the cup",
    "1box_hori_right": "Navigate around the obstacle on the right side and reach the cup",
    "2box_vert_left": "Navigate around the obstacle on the left side and reach the cup",
    "2box_vert_right": "Navigate around the obstacle on the right side and reach the cup",
    "2box_hori_left": "Navigate around the obstacle on the left side and reach the cup",
    "2box_hori_right": "Navigate around the obstacle on the right side and reach the cup",
}
```

### 2. Instruction Mapping 수정
**파일**: `Mobile_VLA/instruction_mapping.py`
```python
# 영어 instruction 추가
SCENARIO_INSTRUCTIONS_EN = {
    "1box_vert_left": "Navigate around the obstacle on the left side and reach the cup",
    "1box_vert_right": "Navigate around the obstacle on the right side and reach the cup",
    ...
}
```

### 3. 재학습 실행
```bash
cd /home/billy/25-1kp/vla
bash scripts/train_active/train_english_chunk5.sh

# 모니터링
tail -f logs/train_mobile_vla_english_chunk5_*.log
```

### 4. 검증 (Ablation Test)
```bash
# Ablation test (핵심)
python3 scripts/test_english_inference.py \
    --checkpoint <BEST_CKPT> \
    --scenario ablation

# Expected output:
# LEFT instruction  → linear_y = +0.XXX (좌회전) ✅
# RIGHT instruction → linear_y = -0.XXX (우회전) ✅
```

---

## 🚀 다음 단계 (재학습 성공 시)

1. **API Server 업데이트**: 영어 instruction 사용
2. **로봇 노드 업데이트**: ROS2 노드에서 영어 instruction 전송
3. **실물 테스트**: Jetson 배포 및 Left/Right 주행 검증
4. **논문 작성**: Method에 영어 instruction 사용 명시

---

## 📁 관련 파일

### 테스트 결과
- `logs/test_korean_instruction_20260107_075028.log` - 이 테스트 로그

### 수정 대상 파일
- `RoboVLMs_upstream/robovlms/data/mobile_vla_action_dataset.py` - Dataset loader
- `Mobile_VLA/instruction_mapping.py` - Instruction mapping

### 재학습 스크립트
- `scripts/train_active/train_english_chunk5.sh` - 영어 instruction 재학습 스크립트

### 참고 문서
- `docs/INSTRUCTION_FLOW_ANALYSIS.md` - Instruction flow 분석
- `docs/INSTRUCTION_CHANGE_20260107.md` - 영어 변경 계획
- `docs/MULTILINGUAL_VLA_SURVEY.md` - VLA 논문 multilingual 조사

---

**Status**: 한국어 instruction 작동 안 함 (검증 완료)  
**Next Action**: 영어 instruction으로 변경 및 재학습 진행