언어 조건화 & 텍스트 어텐션 구조적 사망

① 왜 PaliGemma로 전환했나 (Exp57 이전) Exp1~56: Kosmos-2 기반 접근 End-to-End VLA (Exp1~25): text attention 0% → 실패 분해 접근 (Exp26~54): HSV(색상 필터) → cx,cy + Kosmos-2 CLIP LoRA → visual feat → MLP → action CL 96.67% 달성 ✅ 한계: HSV = 규칙 기반, 객체 인식 아님 PaliGemma로 전환한 이유 교수님 5/22 반박: "basket을 본다는 증거가 없다" → HSV는 색상 규칙이지 객체 인식이 아님 → 신경망이 텍스트로 물체를 특정하는 것이 필요 PaliGemma = detection pre-trained VLM → "detect gray basket" → bbox 출력 → 텍스트 조건부 객체 인식 = 교수님이 원하는 증거 ② Exp57 → Exp58 → Exp59 구조 변화 비교 항목 Exp57 ✅ (5/27) Exp58 ⛔ (5/28) Exp59 ✅ (5/29) 백본 PaliGemma-3b-pt pretrain-only PaliGemma2-3b-mix detection 사전학습 ✓ PaliGemma2-3b-mix 동일 LoRA 레이어 전체 45층 Vision0~26+LM0~17 전체 53층 Vision0~26+LM0~25 고수준 17층 Vision18~26+LM18~25 Target modules q, v q, v q, k, v r / alpha r=8 / α=16 r=8 / α=16 r=16 / α=32 학습 클래스 1-class gray basket만 2-class basket + pot 1-class + negative basket / 나머지→ Hard Negative 없음 없음 있음 brown pot·red ball·person→ Train 데이터 V5 1,280샘플 V5+V4 3,906샘플 V5만 5,072샘플 (pos 1,280 + neg 3,840) epoch / 소요 25ep / ~13h 15.5ep 중단 / 13h 4ep / ~4h 2ep만에 수렴 ③ 전개 흐름 — 무엇을 발견하고 무엇을 바꿨나 Exp57 — 단일 클래스 grounding (5/27) 목표 "basket을 본다는 증거"를 신경망으로 제시 PaliGemma로 "detect gray basket" → bbox 결과 gray basket 100% / red ball 0% / person 3% 비컨테이너 완벽 구별 ✅ 발견한 한계: beige basket 97%, blue trash can 87% FP → LoRA가 "gray basket"이 아닌 "복도의 용기 클래스"를 학습함 → 형태 비슷한 물체는 구별 못 함. 2-class 학습 필요 → Exp58 동기 Exp58 — 2-class 시도, 중단 (5/28 epoch15.5) 목표 gray basket vs brown pot 동시 학습으로 within-class 한계 극복 시도 결과 (epoch5) val: gray basket 100% / brown pot 100% 교차: V5→"brown pot" 67% FP ❌ 핵심 발견: V4 모든 프레임에 gray basket + brown pot 동시 존재 → "V4→gray basket 100% FP"는 FP가 아님 (실제로 거기 있음) → 진짜 문제: Hard Negative 없음 = "basket 있으면 어떤 쿼리든 bbox" 전략이 최적화됨 구조 재고: "brown pot을 학습할 필요가 없음, gray basket만 특정하면 됨" → Hard Negative로 "다른 텍스트 쿼리 → "를 직접 학습 → Exp59 동기 Exp59 — Hard Negative, 단일 타겟 (5/29 epoch4) 목표 "gray basket만 특정" 같은 이미지 + 다른 쿼리 → 고수준 레이어(18~26)만, r=16 결과 ✅ epoch2: TP=100% / FP=0% / gap=+100%p V5 교차 (20장): 95%/0%/0%/0% 분리도 +95%p 달성 핵심 성과: 텍스트 쿼리로 완전 분리 달성 in 4 epoch(4h) "detect gray basket" → bbox / 나머지 → = Goal-Conditioned Grounding 증명 ④ 결과 비교 — 실측치 쿼리 / 환경 Exp57 Exp58 (epoch5) Exp59 (epoch4) 기대값 "gray basket" (V5) 100% 100% 95% ≥90% TP "brown pot" (V5 이미지) — 67% FP ❌ 0% ✅ ≤10% FP "red ball" (V5 이미지) 0% ✅ — 0% ✅ ≤10% FP "person" (V5 이미지) 3% ✅ — 0% ✅ ≤10% FP "beige basket" (within-class) 97% FP ❌ — 미측정 — 분리도 gap (TP−FP평균) ~97%p* 33%p ❌ +95%p ✅ ≥80%p 목표 * Exp57은 red ball/person 기준, beige basket 등 유사 용기류 제외 시 ⑤ 이 모델이 의미하는 것 — VLA로서의 위치 Before (HSV) 카메라 → HSV 색상 필터 → cx, cy → MLP → action 텍스트 무관 After (Exp59) 카메라 + "gray basket" → PaliGemma2 LoRA → cx, cy → MLP → action 텍스트로 목표 지정 목표 (VLA) 카메라 + "brown pot" → PaliGemma2 LoRA → cx, cy (brown pot) → MLP → action 텍스트 바꾸면 목표 변경 Exp59가 증명하는 것 ① 같은 이미지에서 텍스트 쿼리가 바뀌면 결과가 바뀜 ② "basket은 ball이 아니다"를 신경망이 안다 ③ HSV 없이 신경망만으로 객체 위치 특정 가능 ④ 단 4 epoch(4시간)만에 완전 수렴 아직 남은 것 ① Exp59 grounding → Stage2 MLP action 연결 실증 (실로봇 주행이 가장 직접적 증거) ② "detect brown pot"로 텍스트 바꿔서 다른 물체 추적 (Goal-Conditioned Nav 완전 증명) ③ 실로봇 배포 (SODA git pull 필요) ⑥ [학술 비교 분석] 모델별 입출력 구조 및 Vision Encoder(ViT) 비교 비교 항목 Kosmos-2 PaliGemma (3B) PaliGemma 2 (3B) 논문 출처 KOSMOS-2: Grounding Multimodal Large Language Models to the World (Microsoft, 2023) PaliGemma: A versatile 3B VLM for transfer (Google, 2024) PaliGemma 2: A family of versatile VLMs (Google, 2024) Vision Encoder CLIP ViT-L/14 SigLIP ViT-So400m/14 SigLIP ViT-So400m/14 (개량형) Language Model MAGNETO (Decoder-only Transformer) Gemma-2B (Decoder-only) Gemma2-2B (Decoder-only) 입력 해상도 $224 \times 224$ (고정) $224 \times 224$ ~ $896 \times 896$ (가변) $224 \times 224$ ~ $896 \times 896$ (가변) Vision Loss InfoNCE Softmax Loss Sigmoid Loss (SigLIP) Sigmoid Loss (SigLIP) 입력 토큰 구조 [Image] + [Text Prompt] ViT 레이어에 직접 주입 [Image Patches (256)] + [Text Prompt] 256개의 임베딩 패치 토큰으로 투입 [Image Patches (256/1024)] + [Text Prompt] 해상도에 따라 토큰 수 가변 확장 출력 토큰 구조 BBox 좌표가 와 등의 태그가 결합된 텍스트 토큰 구조 ...와 같이 1024개 grid bin으로 양자화된 BBox 토큰 출력 Gemma2 보코더를 탑재한 정돈된 grid bin 좌표 출력 (동일) Vision Encoder(SigLIP vs CLIP) 손실 함수 및 해상도 확장의 영향 1. Softmax Loss (CLIP) vs Sigmoid Loss (SigLIP) CLIP은 배치 크기 $N$ 내에서 올바른 이미지-텍스트 매칭 쌍을 찾는 Softmax Contrastive Loss를 사용하여 배치 내 다른 음성 샘플들과의 상대적 유사성을 극대화합니다. \mathcal{L}{CLIP} = -\frac{1}{2} \left[ \log \frac{e^{\text{sim}(I_i, T_i)/\tau}}{\sum_j e^{\text{sim}(I_i, T_j)/\tau}} + \log \frac{e^{\text{sim}(I_i, T_i)/\tau}}{\sum_j e^{\text{sim}(I_j, T_i)/\tau}} \right] 반면, PaliGemma 계열이 채택한 SigLIP (Sigmoid Language-Image Pre-training)은 각 이미지-텍스트 쌍의 매칭 관계를 독립적인 이진 분류 문제로 정의하여 학습합니다. \mathcal{L}{SigLIP} = -\sum_{i,j} \log \sigma \left( y_{i,j} \cdot (\text{sim}(I_i, T_j) \cdot e^{\theta} + b) \right) \quad (\text{where } y_{i,j} = 1 \text{ if } i=j \text{ else } -1) 이로 인해 SigLIP은 글로벌 정규화에 따른 배치 크기 의존성(Batch size sensitivity)을 완벽히 탈피하였으며, 네거티브 페어의 미세 엣지 억제력이 극대화되어 물체의 정밀한 국소화(Localization)와 미세 형태 변별(Fine-grained recognition) 성능이 비약적으로 향상되었습니다. 2. 해상도(Resolution) 가변 확장의 기하학적 당위성 Kosmos-2는 $224 \times 224$ 해상도로 고정되어 정밀한 BBox 좌표 추출에 기하학적인 한계가 존재했습니다. 반면 PaliGemma 2는 최대 $896 \times 896$ 해상도까지 지원하여, 넓은 복도 환경에서 멀리 떨어져 있어 픽셀 면적이 매우 미미한 목표물(바스켓)도 고해상도 ViT 패치 분석을 통해 오프셋 왜곡 없이 정교하게 추출해 낼 수 있는 강인함을 제공합니다. ⚠️ 실제 배포 상태와의 차이 (2026-06-20 확인) 위 설명은 PaliGemma 2 아키텍처가 지원하는 범위이며, 현재 soda(Jetson Orin)에 배포된 체크포인트는 paligemma2-3b-mix-224로 224×224에 고정되어 있어 위 강인함이 아직 실현되지 않은 상태입니다. 카메라 1280×720 입력도 PG2 내부에서 center-crop/padding 없이 224×224로 강제 스트레치되어 16:9→1:1 비율 왜곡까지 발생합니다. 정량 비교 (전부 실측 완료): 체크포인트 이미지 토큰 latency 실로봇 유효율 mix-224 (배포중) 256 1246~1264ms 51.4% (S6, n=105) mix-448 1024 (4×) ~2.1초 (soda 실서버) 34.0% (S8, n=47) — 하락 mix-896은 3B "mix"(downstream 튜닝) 버전이 없어(pt-896만 존재, 포맷 미보장) 시도 안 함. 운영 서버를 실제로 mix-448로 교체해 실로봇 데이터(S8)까지 수집한 결과, latency는 예상보다 가벼웠지만(+75%) 유효율은 오히려 하락(51.4%→34.0%)했고 유효 검출 6건 스폿체크 전부 오탐 확인. 별도로 로컬 GPU(GB10)에서 동일 7프레임을 224/448로 직접 비교해도 bbox가 거의 동일하게 나와 — 해상도는 정답이 아니라는 결론을 독립적으로 재확인. 상세는 Robot Tests — 해상도 정량분석 및 S8 세션 참조. E2E VLA의 Text Attention Collapse 한계와 Decomposed Pipeline의 제어학적 당위성 1. Text Attention Collapse (Text Ignore 현상) 단일 신경망에 이미지와 텍스트 조향 목표를 동시 입력해 제어 출력 $a_t$를 직접 엔드투엔드(End-to-End)로 파인튜닝할 경우, 신경망은 텍스트 조건보다 이미지의 주행 궤적 통계 분포(Forward bias)를 먼저 학습하는 지름길(Shortcut)에 안주하게 됩니다. 이 과정에서 교차 주의 가중치(Cross-Attention Weight)가 붕괴하여 텍스트 입력을 무시하는 Text Attention Collapse 현상이 발생하고, 목표 물체에 상관없이 일관된 패턴으로만 제어기가 고착화되는 심각한 한계가 노정됩니다. [ A. End-to-End VLA의 정보 흐름 (Attention Collapse 발생) ] graph LR ImageA[Image] --> Transformer[E2E VLA Transformer Gradient Conflict] TextA[Text Goal] --> Transformer Transformer --> ActionA["Action (Text Ignore, FORWARD 편향)"] style ImageA fill:#1e293b,stroke:#3b82f6,color:#fff style TextA fill:#1e293b,stroke:#3b82f6,color:#fff style Transformer fill:#7f1d1d,stroke:#f87171,color:#fff style ActionA fill:#374151,stroke:#4b5563,color:#fff [ B. Decomposed Pipeline의 정보 흐름 (당사 설계 - 기하 제약 강제) ] graph LR ImageB[Image] --> Stage1["Stage 1: PaliGemma 2 LoRA (Explicit 1:1 Grounding)"] TextB[Text Goal] --> Stage1 Stage1 --> BBox["BBox (cx, cy, area)"] BBox --> Stage2[Stage 2: Control MLP] Visual["CLIP Visual Feature (Contextual representation)"] --> Stage2 Stage2 --> Steering[Steering Action] style ImageB fill:#1e293b,stroke:#3b82f6,color:#fff style TextB fill:#1e293b,stroke:#3b82f6,color:#fff style Stage1 fill:#1e3a8a,stroke:#3b82f6,color:#fff style BBox fill:#065f46,stroke:#34d399,color:#fff style Visual fill:#1e293b,stroke:#3b82f6,color:#fff style Stage2 fill:#115e59,stroke:#14b8a6,color:#fff style Steering fill:#047857,stroke:#10b981,color:#fff 2. Decomposed Pipeline의 제어학적 당위성 (Imposed Geometric Constraints) 이를 극복하기 위해 당사가 도입한 분해형 파이프라인(Decomposed Pipeline)은 신경망의 중간 레이어에 물리적인 기하 제약을 강제(Imposed Geometric Constraint)합니다. 목표물 텍스트를 BBox 좌표(cx, cy, area)로 일차 변환하는 Stage 1 단계를 독립시킴으로써 텍스트에 대한 어텐션 인과 관계를 보장하고(Stage 1 테스트에서 분리도 gap +95%p 실증), Stage 2 제어 MLP가 물리적 오프셋($cx - 0.5$)과 거리 요인($area$)을 조향 행동에 강제 매핑하게 함으로써 VLA의 궤적 왜곡과 편향 붕괴를 제어공학적으로 영구히 방지합니다.

🟣 3줄 요약 ① 과거 지시문 조건화 실험은 라벨 누출이었다 — 지시문을 path_type에서 합성해 "curve to the left"가 정답 클래스를 직접 지시했다. permutation drop 14.6%p는 언어 이해가 아니다. ② 진짜 증명에는 "언어 없이는 풀 수 없는 과제"가 필요하다 — 같은 장면·같은 초기 프레임에서 지시문만 바꿔 다른 타겟으로 가야 한다. ③ 가장 싼 경로는 이미 열려 있다 — OWL-v2가 open-vocabulary라 지시문에서 타겟 명사만 파싱해 프롬프트로 넘기면 검출 대상이 바뀌고, cx가 바뀌고, 액션이 바뀐다.

🚫 68-1. 과거 시도의 재해석 — 성공처럼 보였지만 라벨 누출이었다

scripts/train_step2_instr_head.py로 이미 지시문 조건화를 실험한 이력이 있고, 방법론은 훌륭했다 — shuffled 대조군, permutation 검정, counterfactual 검정을 모두 갖췄다. 결과도 긍정적으로 보였다: 조건PM (5 seeds) none (텍스트 없음) 78.35% ± 1.67% real (실제 지시문) 81.77% ± 1.01% shuffled (무작위 교환) 77.47% ± 1.68% permutation drop 80.4% → 65.8% (−14.6%p) real > none > shuffled이고 permutation drop이 14.6%p — 표면적으로는 "모델이 지시문을 실제로 쓴다"는 강한 증거다. 그런데 지시문이 어떻게 만들어졌는지를 보면 결론이 뒤집힌다 INSTRUCTIONS = { "center_left": "the basket is ahead, curve to the left side to reach it", "center_right": "the basket is ahead, curve to the right side to reach it", "left_left": "the basket is on your left, curve left to reach it", ... # 9개 path_type 각각에 대응 지시문이 path_type에서 합성됐고, "curve to the left"는 정답 클래스(LEFT 계열)를 자연어로 직접 지시한다. 즉 모델은 언어를 이해한 것이 아니라 정답을 텍스트로 받은 것이다. permutation drop 14.6%p는 라벨을 섞으면 정확도가 떨어진다는 자명한 결과이므로 언어 이해의 증거가 될 수 없다. 이 실험은 언어 조건화를 증명하지 못했다. counterfactual 결과도 사실 약했다 — 같은 프레임에 left/right 지시문을 주었을 때: 지시문→ 좌 클래스→ 우 클래스차이 left 지시 23.4% 19.6% +3.8%p right 지시 18.4% 20.3% +1.9%p 예측이 바뀌는 비율은 20.3%인데, 바뀌는 방향이 지시문과 일치하는 정도는 3.8%p / 1.9%p로 미약하다. "지시문에 반응하지만 올바른 방향으로 반응하지는 않는다." ※ 별개로 Kosmos-2 backbone 내부 언어 경로는 text attention 0.000%로 붕괴돼 있다(Exp17~41C, head-only에서도 재현). 위 실험은 그 경로를 우회해 OWL-v2 텍스트 인코더 임베딩을 헤드에 concat한 것이므로 두 사안은 층위가 다르다.

68-2. 무엇이 필요한가 — "언어 없이는 풀 수 없는 과제"

68-1의 교훈은 명확하다. 지시문이 정답과 상관되면 어떤 검정도 증명이 되지 못한다. 따라서 과제 자체를 바꿔야 한다. 현재 과제의 구조적 한계: 장면에 회색 바구니 하나뿐이다. 목표가 유일하면 지시문이 전달할 정보가 없다 — "바구니로 가"는 아무것도 추가하지 않는다. 그래서 지금 구조에서는 언어를 넣어도 파라미터만 늘어난다. 필요 조건: 같은 장면 · 같은 초기 프레임 · 다른 지시문 → 다른 타겟 장면: 왼쪽에 의자, 오른쪽에 바구니 지시문 A: "go to the chair" → 좌회전 궤적 지시문 B: "go to the basket" → 우회전 궤적 → 초기 프레임이 픽셀 단위로 동일한데 정답 액션이 반대다. 비전만으로는 원리적으로 풀 수 없으므로, 성능이 나오면 그것이 곧 언어 기여다. 이 설계의 결정적 장점 — 지시문이 타겟을 지정할 뿐 액션을 지시하지 않는다. 68-1의 "curve to the left"와 달리 "go to the chair"는 좌/우를 말하지 않으므로 라벨 누출이 원천적으로 불가능하다. 좌회전해야 한다는 것은 의자가 왼쪽에 있다는 시각 정보와 결합해서만 도출된다. 이미 보유한 자산 자산규모용도 V6 basket 데이터 225 ep 단일 타겟 baseline v5_2 chair 데이터 59 ep 2번째 객체 — 다만 chair가 장애물로 쓰인 것이라 타겟 궤적은 별도 확인 필요 CH30 의자 검출 검증 11장 detect chair 91% 검출 · 색 수식어 제거가 유리 OWL-v2 open-vocabulary — 프롬프트만 바꾸면 임의 객체 검출 Florence-2 언어부 140.2M CH67 67-2에서 비전부는 검증됨. 언어부는 미검정 instr 조건화 코드 — train_step2_instr_head.py — 검정 프로토콜 재사용 가능

🪜 68-3. 단계적 전환 계획 — L0에서 L3까지

각 단계는 "언어가 실제로 기여했는가"를 판정할 수 있는 최소 실험 단위로 끊었다. 앞 단계가 통과하지 못하면 다음으로 가지 않는다. 단계내용데이터로봇통과 기준 L0 현재 — 언어 무시(고정 상수) 보유 — baseline. 실기 89% L1 지시문 → 검출 대상 변경 지시문에서 타겟 명사를 파싱해 OWL-v2 프롬프트로 전달 불필요 ❌ 같은 프레임에 "chair"/"basket"을 주면 cx가 다르게 나오는가 L2 다중 객체 데이터 수집 의자·바구니 동시 배치, 지시문별로 다른 타겟 주행 신규 필요 ✅ 같은 초기 프레임에 서로 다른 정답 액션 쌍이 확보되는가 L3 언어 조건화 헤드 학습·검정 L2 산출물 ❌(학습) shuffled 대조군 대비 유의한 개선 + counterfactual 방향 일치율 L4 속성·관계 표현 ("왼쪽 바구니", "의자 옆 바구니") 추가 필요 ✅ 장기 과제. L3 통과 후 판단 L1이 핵심이다 — 지금 구조로 거의 공짜로 된다 OWL-v2는 open-vocabulary 검출기다. 현재 프롬프트 "gray basket"이 코드에 고정돼 있을 뿐, 지시문에서 타겟 명사를 뽑아 넘기면 검출 대상이 바뀐다. 그러면 cx가 바뀌고 → 액션 헤드 입력이 바뀌고 → 액션이 달라진다. 즉 "지시문에 따라 액션이 달라지는" 데모는 학습 없이도 만들 수 있다. CH30에서 detect chair가 91% 검출됨을 이미 확인했고, 코드 변경은 phrase 인자를 고정값에서 요청 파라미터로 바꾸는 수준이다 (OwlV2Grounder.run(phrase=...)은 이미 인자를 받는다). 단 한계를 정확히 말해야 한다 — 이건 언어가 "검출 대상"을 고르는 것이고, 액션 정책 자체가 언어에 조건화된 것은 아니다. 액션 헤드는 여전히 cx·비전만 본다. 논문에서 "language-conditioned policy"라고 주장하려면 L3이 필요하다. L1은 "language-directed target selection" 정도로 서술하는 것이 정확하다. L2 수집 설계 — counterfactual 쌍이 필수 - 같은 배치·같은 시작 자세에서 타겟만 바꿔 2회 주행 → 초기 프레임이 거의 동일한 쌍이 만들어진다 - 이 쌍이 있어야 "비전은 같은데 액션이 다르다"를 데이터로 보일 수 있다. 없으면 L3 검정이 성립하지 않는다 - 좌/우 배치를 교차시킨다(의자 좌·바구니 우 / 의자 우·바구니 좌) — 안 그러면 "의자=왼쪽"을 외워버려 언어 없이도 풀린다 - 규모 추정: 2객체 × 2배치(좌우 교차) × 2지시문 × 15회 = 60 ep가 최소선. CH66의 교훈대로 좌우 액션 클래스 균형을 수집 단계에서 관리

68-4. 검정 프로토콜 — 사전 고정 (라벨 누출 재발 방지)

68-1의 실패를 반복하지 않으려면 착수 전에 다음을 고정해야 한다. ① 지시문 작성 규칙 — 액션 어휘 금지 금지허용 "curve to the left" "go straight" "turn right to reach it" "go to the chair" "reach the basket" "move toward the gray basket" 지시문에 방향·동작 어휘가 들어가면 그 순간 라벨 누출이다. 타겟 명사만 허용한다. 검토 절차로 지시문 어휘 목록을 사전에 확정하고 left/right/straight/turn/curve 계열을 자동 검사로 차단한다. ② 필수 대조군 3종 - no_text — 언어 입력 없음. 하한선 - shuffled_text — 에피소드 간 지시문 무작위 교환. real ≈ shuffled면 언어를 무시하는 것 - wrong_text — 장면에 없는 객체를 지시("go to the table"). 모델이 혼란을 보여야 정상이다. 성능이 유지되면 언어를 안 읽는 것 ③ 주 지표 — counterfactual 방향 일치율 같은 프레임에 타겟 A/B 지시문을 각각 주고, 예측 액션이 해당 타겟 방향으로 갈라지는 비율을 재다. 68-1에서는 이 값이 3.8%p / 1.9%p로 미약했다. 이 지표를 주 지표로 삼고, 전체 정확도는 부지표로 둔다 — 정확도는 라벨 누출로 쉽게 올라가지만 방향 일치율은 그렇지 않다. ④ 실기 판정 — 최종 판정은 100건 실기 프로토콜을 따른다(CH64 64-18 기준). offline 지표는 사전 필터로만 쓴다. 이 세션에서 offline이 실기를 반복적으로 잘못 예측했다 (64-11 철회, 65-1 강우 반례). 다중 객체 과제의 실기 프로토콜은 "지시문별 성공률"과 "엉뚱한 객체로 간 비율(오타겟률)"을 분리해 보고한다 — 후자가 언어 실패의 직접 지표다.

68-5. 아키텍처 후보와 미해결 질문

언어를 어디로 주입하는가 경로방식평가 A. 검출 프롬프트 (L1) 지시문 → 타겟 명사 → OWL-v2 프롬프트 가장 싸고 즉시 가능. 단 정책 조건화는 아님 B. 헤드 concat (L3) 텍스트 임베딩(512d)을 260-dim 특징에 붙임 68-1이 쓴 방식. 코드 존재. 과제만 바꾸면 재사용 가능 C. cross-attention 텍스트 토큰에 헤드가 attend 표현력은 높지만 파라미터·데이터 요구 증가. 225ep 규모에서 위험 D. VLM 내부 언어 경로 Kosmos-2/Florence-2 언어부를 그대로 사용 Kosmos-2는 text attention 0%로 불가. Florence-2 언어부(140.2M)는 미검정 권고: A로 데모를 만들고, B로 정책 조건화를 검정한다. C는 데이터 규모가 확보된 뒤(CH67 67-3 ②와 같은 조건) 검토한다. 미해결 질문 4개 — 답이 없으면 진행 순서가 흔들린다 - Florence-2 언어부가 쓸 만한가? 비전부는 CH67에서 검증됐지만(cx MAE 0.0015, 파라미터 3.4배↓) 언어부 140.2M은 측정하지 않았다. 텍스트 임베딩 품질을 먼저 재야 B의 백본을 정할 수 있다 - 새 객체에 액션 헤드가 전이되는가? 헤드는 비전 피처 256-dim에 의존하고, 그 피처는 장면 외형을 담는다. 의자로 바꾸면 재학습이 필요할 가능성이 높다 — L2 수집 규모를 정하려면 이 답이 필요 - 단일 객체 성능을 잃지 않는가? 다중 객체로 확장하면 현재 89%가 떨어질 수 있다. 다중 과제 학습의 간섭을 측정해야 한다 - has_bbox 문제가 악화되는가? 지시문이 장면에 없는 객체를 지시하면 미검출이 정상 동작이다. 그런데 CH65 65-6에서 확인했듯 모델은 미검출 상황을 학습한 적이 없다(negative 0건). 언어 조건화는 이 문제를 필연적으로 키운다 — "없는 것을 찾으라"는 요청이 정상 입력이 되기 때문이다 CH67과의 관계 — 67-3 ③에서 "언어를 넣어서 무엇이 좋아지는가를 먼저 정량화해야 한다"고 적었다. CH68이 그 답이며, 결론은 "현재 과제로는 정량화 불가. 다중 객체 과제로 바꿔야 언어의 기여를 측정할 수 있다"이다.

68-6. 정리 — Future Work 우선순위

순위항목로봇비용얻는 것 1 L1 — 지시문 → 검출 프롬프트 ❌ 매우 낮음 "지시문에 따라 타겟이 달라지는" 데모. 코드 수정 불필요 — 이미 구현되어 있음 2 Florence-2 언어부 검정 ❌ 낮음 B 경로의 백본 결정. 68-5 질문 ① 3 객체 전이 실험 (기존 chair 59ep 활용) ❌ 낮음 L2 수집 규모 산정. 68-5 질문 ② 4 L2 — 다중 객체 counterfactual 수집 (~60ep) ✅ 중간 L3의 전제. 좌우 교차 배치 필수 5 L3 — 언어 조건화 헤드 학습·검정 ❌(학습) 중간 "language-conditioned policy" 주장의 근거 6 L3 실기 100건 검정 ✅ 높음 최종 판정. 지시문별 성공률 + 오타겟률 1~3번은 로봇 없이 가능하고 비용이 낮다. ⚠️ 정정 (2026-08-05) — 처음 이 표를 쓸 때 L1을 "코드 한 곳 수정"이라고 적었는데, 서버 코드를 확인하니 이미 구현되어 있다: stage2_v2_inference_server.py:1033 phrase = "gray basket" if instruction == "basket" else instruction → :1128  self.grounder.run(image_rgb, phrase=phrase) 요청의 instruction 필드가 그대로 OWL-v2 텍스트 쿼리로 전달된다. 즉 L1은 "구현할 것"이 아니라 "측정한 적이 없는 것"이다 → 68-7에서 측정했다. 다만 이것을 "language-conditioned policy"로 부르지 않도록 68-3의 용어 구분을 지킨다. 이 챕터의 성격 — 68-1 (과거 실험 재해석)과 68-7(L1 실측)은 완료된 측정이고, 나머지(68-2~68-6)는 미실행 계획이다. 논문 본문 주장으로 인용하지 않는다. 검정 프로토콜(68-4)을 착수 전에 고정한 것은 68-1에서 라벨 누출로 헛된 결론을 낸 이력과, 이번 세션에서 사후 해석으로 두 번 정정한 이력(64-11, 64-19) 때문이다.

68-7. L1 실측 — 같은 프레임, 지시문만 바꾸면 타겟이 바뀌는가 ✅

68-3의 L1을 실제로 측정했다. 68-6 정정에서 밝힌 대로 L1은 이미 구현되어 있으므로, 남은 건 구현이 아니라 측정이었다. 설계 — V6 val 프레임 200장에 대해 이미지는 완전히 동일하게 두고 OWL-v2의 텍스트 쿼리만 교체한다 (thresh 0.25, 서빙 필터 미적용 — 목적이 서빙 재현이 아니라 "텍스트가 타겟을 바꾸는가"이므로 최고점 박스를 그대로 본다). 핵심 지표는 사전에 조향 부호 반전율(sign(cx−0.5)가 지시문에 따라 뒤집히는 비율)로 고정했다 — 방향이 실제로 갈리는지가 최소 조건이기 때문이다. 지시문(phrase)검출률cx 평균score 중앙공통n|Δcx| 평균조향부호 반전율 "gray basket" (배포값) 91.0% 0.484 0.601 — — 기준 "chair" 35.5% 0.089 0.536 69 0.407 55.1% "door" 5.5% 0.131 0.305 11 0.433 72.7% "person" 0.0% — — 0 — 평가불가 "microwave oven" (부재 대조군) 5.0% 0.899 0.267 10 0.512 90.0% 결과 — 지시문이 타겟과 조향 방향을 실제로 바꾼다 같은 이미지에서 "gray basket" → cx 0.484 (중앙), "chair" → cx 0.089 (화면 좌측 끝)이고, 둘 다 검출된 69프레임에서 |Δcx| 0.407, 조향 부호가 55.1%에서 반대로 뒤집힌다. → 사전 고정한 판정 기준을 통과했다: language-directed target selection 성립. 추가 학습도 코드 수정도 없이, 요청의 instruction 필드만 바꿔서 얻은 결과다. ⚠️ 과대해석 금지 — 4가지 ① policy가 아니다. 액션 헤드는 여전히 cx·비전만 받고 텍스트를 보지 않는다. 바뀐 것은 헤드에 들어가는 cx이지 헤드의 동작이 아니다. 68-3 용어 구분대로 "language-conditioned policy"라고 쓰면 안 된다. ② 액션 클래스 변화는 측정하지 않았다. 헤드 입력이 6프레임 윈도우라 단일 프레임 교체로 재구성되지 않는다. 여기서는 조향 부호까지만 확인했다. ③ 반전율 55.1%가 과제 난이도를 반영하지 않는다. chair의 cx가 0.089±0.056으로 거의 항상 좌측 끝에 고정돼 있다 — 연구실에 정적인 의자가 한쪽에 있다는 뜻이다. 즉 "지시문에 따라 방향이 갈린다"는 성립하지만, 모델이 지시문과 장면을 결합해 추론했다기보다 서로 다른 고정 물체를 각각 찾은 것에 가깝다. L2의 좌우 교차 배치 요구(68-3)가 바로 이 문제를 겨냥한다. ④ 부재 판정이 완전하지 않다. 없는 물체("microwave oven")를 5.0%에서 검출했다. 낮지만 0이 아니고, 그 cx가 0.899로 화면 우측 끝에 몰려 있다(score 중앙 0.267 — 임계 바로 위). 즉 "없다"고 답하지 못하는 경로가 남아 있다. 이는 65-6·64-15의 has_bbox 문제와 같은 뿌리이고, 언어 조건화는 "없는 것을 찾으라"는 요청을 정상 입력으로 만들기 때문에 이 결함을 확대시킨다. 그래서 다음 할 일이 좁혀졌다 — 68-6 우선순위 1번(L1)은 이것으로 닫힌다. 남은 것은 같은 프레임에 두 객체가 모두 있고 각 객체가 좌·우에 교차 배치된 데이터(L2)이며, 그것 없이는 ③을 반박할 수 없다. 스크립트 scripts/l1_language_target_selection.py · 결과 docs/v5/detector/l1_target_selection.json · 표본 V6 val 200프레임(seed42 분할)

68-8. 액션까지 바뀌는가 — 반사실 실험에서 기대와 반대가 나왔다

68-7 ②에서 미룬 질문을 실제로 측정했다. 미룬 이유는 "헤드 입력이 6프레임 윈도우라 단일 프레임 교체로는 재구성되지 않는다"였는데, exp73 학습 캐시가 에피소드 단위로 vis를 들고 있고 swap_bboxes()가 vis는 그대로 두고 bbox만 교체하는 용도로 이미 존재했다 → 윈도우를 정상적으로 재구성할 수 있었다. 설계 — 같은 val 33에피소드 · 같은 vis(장면 외형) · 같은 학습된 헤드(배포 arm, 3 seed). bbox만 교체: baseline = OWL "gray basket", 반사실 = OWL "chair"(새로 추출), 미검출은 서빙과 같은 fallback. 주 지표는 사전에 방향 일치율로 고정했다 — sign(Δ좌질량)이 sign(cxbasket − cxchair)와 같은 비율. chair가 더 왼쪽이면 좌질량이 늘어야 하고, 우연이면 50%다. bbox 셔플 대조군도 같이 돌렸다. arm대상 n예측 변화율Δ좌질량 평균|Δ좌질량|방향 일치율 chair (지시문 교체) 152 21.7% −0.0142 0.1042 35.1%±0.6 bbox 셔플 (대조군) 501 27.9% +0.0484 0.1411 — 결정 시점 501 · chair 검출 30.3% · 방향 판정은 |Δcx| > 0.02인 152시점만 사전 고정 기준에서 실패했다 방향 일치율 35.1%는 우연(50%)보다 낮다 — chair를 왼쪽에서 찾았는데 헤드의 좌질량은 오히려 줄었다. 게다가 |Δ좌질량| 0.104가 bbox를 무의미하게 셔플한 대조군 0.141보다 작다. → 즉 그라운딩은 지시문을 따라갔지만(68-7), 그 좌표가 액션으로 올바르게 번역되지 않았다. 이 설계로는 원인을 특정할 수 없다 — 두 설명이 남는다: (A) 헤드가 cx를 거의 쓰지 않는다, (B) 쓰지만 chair의 cx=0.089가 학습 분포 밖이라 무너진다. chair cx가 0.089±0.056에 거의 고정돼 있어 "기대 방향"이 사실상 상수이므로 지표가 "좌질량이 늘었나" 하나로 축퇴한다 — 68-7 ③에서 경고한 한계가 그대로 나타난 것이다. → 68-9에서 검출기를 빼고 cx만 통제해 분리했다. 스크립트 scripts/l1_action_counterfactual.py · 결과 docs/v5/detector/l1_action_counterfactual.json

68-9. 원인 규명 — 배포 헤드는 어떤 cx에서도 좌측을 선호하지 않는다 ⭐

68-8의 (A)/(B)를 분리하려면 검출기를 빼고 cx만 통제 변수로 스윕하면 된다. val 결정 시점의 실제 윈도우를 그대로 쓰고 윈도우 전체 프레임의 cx만 지정값으로 덮어쓴다 (cy·area·has_bbox·vis는 원본 유지, 학습과 같은 bbox_scale=3.0 적용). cx 0.05→0.95를 19단계로 훑으며 좌질량을 본다. 정상이라면 좌질량은 cx에 대해 단조 감소해야 한다. 실제 cx 분위 p1/p50/p99 = 0.188 / 0.500 / 0.818 — 즉 0.05·0.95는 분포 바깥, chair의 0.089도 p1 아래다. cx0.050.150.250.350.450.550.650.750.850.95 배포 (holdaware) −0.088 −0.075 −0.062 −0.050 −0.032 −0.012 −0.004 −0.017 −0.067 −0.145 미러증강 (65-9) +0.141 +0.086 +0.037 −0.016 −0.049 −0.041 −0.006 −0.005 −0.019 −0.029 좌질량 = softmax 좌계열[2,4,6] − 우계열[3,5,7], 3 seed 평균. 양수 = 좌측 선호. ① 배포 헤드 — 좌질량이 전 구간에서 음수다 cx를 화면 맨 왼쪽(0.05)까지 밀어도 좌질량은 −0.088, 즉 여전히 우측을 더 선호한다. 19단계 어디에서도 양수가 되지 않는다. 곡선은 단조가 아니라 역U자로, Spearman이 +0.185(정상이면 −1 근처)이고 극좌·중앙 구간 기울기가 각각 +0.128 / +0.143로 역전이다. → 68-8의 두 설명 중 (A)에 가깝다: 분포 밖만의 문제가 아니라 분포 안(0.3~0.7)에서도 방향이 뒤집혀 있다. cx는 좌측 조향의 근거로 거의 기능하지 못한다. ② 미러 증강이 cx 응답 자체를 복구했다 — 예상하지 못한 결과 같은 데이터·같은 구조인데 미러증강 헤드는 cx 0.05에서 +0.141 (좌측 선호)이고 cx가 커지며 음수로 넘어간다. Spearman −0.575, 극좌 구간 기울기 −0.516(정상). → 65-9에서 미러 증강의 효과를 "고정 편향 제거" (fixed bias −0.0275 → +0.0068)로만 기록했는데, 실제로는 그보다 큰 일을 했다: cx → 조향 방향의 대응 관계 자체를 되살렸다. 65-9는 이 효과를 측정하지 않았으므로, 이건 그 챕터에 대한 사후 보강이다. ③ CH64·CH66과 방향이 맞는다 — 실기 100건에서 최저 구간이 강좌 80% · 약좌 80%(중앙 100%, 약우 95%, 강우 90%)였다. 배포 헤드가 cx로 좌측 조향을 만들어내지 못한다는 것은 좌측 구간이 유독 약한 것과 일관된다. CH66이 원인을 "헤드의 고정 우측 선호"로 지목했는데, 68-9는 그것이 단순한 오프셋이 아니라 입력–출력 대응의 붕괴임을 보여준다. ⚠️ 한계 — 오프라인 프로브다 ⓐ cx만 덮어쓰므로 vis(장면)와 cx가 모순되는 입력이 만들어진다. 실제 주행에서는 둘이 함께 움직이므로, 이 곡선이 실기 거동과 1:1로 대응하지는 않는다. ⓑ 좌질량은 확률 질량이고 argmax가 아니다 — 실제 선택되는 액션의 변화율은 68-8의 21.7%다. ⓒ 미러증강 헤드는 실기 100건 검정을 거치지 않았다. offline 개선이 실기로 이어진다는 보장이 없다는 것은 이 프로젝트에서 여러 번 확인된 사실이다(64-11 철회 사례). → 따라서 결론은 "미러증강 헤드를 실기 100건으로 검정할 근거가 하나 더 생겼다"까지이고, "교체하면 좌측이 개선된다"는 아직 주장할 수 없다. 언어 조건화 계획에 주는 함의 — L1이 그라운딩 수준에서 동작해도(68-7) 액션 수준에서는 지금 헤드로 데모가 성립하지 않는다(68-8). 즉 68-6 우선순위에서 L1 데모의 전제 조건은 L2 데이터가 아니라 헤드의 cx 응답 복구(미러증강 계열)가 먼저다. 스크립트 scripts/l1_head_cx_response.py · 결과 docs/v5/detector/l1_head_cx_response.json