논문 드래프트 보완 — 문제 · 대응책 · 실 답변

[삽입] — 요구 원문의 메모를 산문으로 풀어 쓴 것입니다. 메모 자체는 지워도 됩니다.

제안 파이프라인의 한 프레임은 260차원 특징 벡터로 표현된다. 이 벡터는 서로 다른 두 인코더의 출력을 병치(concatenate)한 것으로, 앞의 4채널은 오픈 보캐블러리 검출기 OWL-v2가 산출한 기하 정보(cx, cy, area, has_bbox)이고 뒤의 256채널은 Kosmos-2 비전 타워의 출력(1024차원)을 선형 사상(image_proj, 1024→256)한 뒤 L2 정규화한 시각 문맥 표현이다. 두 인코더의 출력은 동일한 임베딩 공간으로 사상되지 않으며, 저차원 기하 정보와 고차원 시각 문맥이 각자의 형태를 유지한 채로 결합된다. bbox 4채널에는 스케일 정합을 위해 배율 3.0을 곱한다.

행동 헤드는 6개 시점(window=6)의 프레임 특징을 이어붙인 1560차원 벡터를 입력받아 8개 행동 클래스의 로짓을 출력한다. 이때 6개 시점은 연속된 6프레임이 아니라 결정 간격 5프레임마다 하나씩 취한 것으로, 현재 시점 t에 대해 t−25, t−20, t−15, t−10, t−5, t의 여섯 지점을 참조한다. 즉 윈도우가 실제로 덮는 구간은 25프레임이다. 시간 문맥을 명시적으로 포함시킨 것은 그라운딩이 매 프레임 수행되지 않고 일정 주기로만 갱신되기 때문이며(1.4절), 간격을 두고 표집함으로써 인접 프레임의 중복 대신 실제로 변화가 누적된 구간을 보게 한다.

전체 파이프라인에서 학습되는 구성요소는 행동 헤드(0.866M 파라미터)뿐이다. OWL-v2(0.155B), Kosmos-2 비전 타워(0.303B), 선형 사상(0.262M)은 모두 동결(frozen)되며 별도의 특화 파인튜닝을 수행하지 않는다. 즉 본 연구의 학습 비용은 전체 파라미터가 아니라 0.866M에 국한되고, 이것이 제안 구조가 온디바이스 환경에서 반복 실험을 감당할 수 있는 근거이다.

[삽입] — 기존 설명 문단 앞이나 뒤에 붙입니다.

본 구조는 설계를 먼저 확정한 뒤 검증한 것이 아니라, end-to-end VLA 구성에서 관측된 두 차례의 실패를 거쳐 도달한 것이다.

첫째, Kosmos-2에 LoRA를 적용한 end-to-end 구성에서 언어 경로의 어텐션 비중이 0.000%로 측정되었다. 이 값은 헤드만 학습시킨 조건에서도 동일하게 재현되었으므로, 학습 방식의 문제가 아니라 사용한 사전학습 모델의 상태에 기인한다. 즉 언어 입력이 행동에 기여하지 않는 상태였다.

둘째, 동일 구성에서 오프라인 지표와 실제 주행 성능이 어긋났다. 프레임 단위 행동 일치도가 58.6%였음에도 목표 도달 성공률은 0%였고, 최종 위치 오차가 1.45m까지 누적되었다. 궤적을 분석한 결과 이동 거리 자체는 목표와 유사했으나 방향 오차가 누적되는 양상이었다.

이에 목표의 위치를 모델 내부 표현에 맡기지 않고 명시적 좌표로 분리하는 구성을 시험하였다. 동일 데이터에서 프레임 일치도는 75.9%, 목표 도달 성공률은 66.7%로 개선되었고 최종 위치 오차는 0.55m로 감소하였다. 두 구성의 이동 거리 특성이 유사한 반면 방향 오차만 크게 달라졌다는 점에서, 개선의 원인은 좌표를 명시적으로 제공한 것에 있다고 판단하였다.

이 관찰이 본 구조의 근거다. 목표의 기하 정보는 오픈 보캐블러리 검출기가 제공하고, 장면의 시각 문맥은 시각-언어 모델의 비전 타워가 제공한다. 두 경로 모두 언어 디코더를 경유하지 않는다. 절 제목의 heterogeneous는 이처럼 성질이 다른 두 인코더를 각자의 강점에 맞게 분담시킨다는 의미다.

인코더 선택 근거 — 다수의 시각-언어 인코더 중 Kosmos-2를 택한 것은 선행연구 RoboVLMs의 인코더 비교에서 Kosmos-2가 가장 좋은 결과를 보였기 때문이며, 그 실측 결과를 승계한 것이다. 다만 본 구현에 RoboVLMs의 코드는 포함되지 않는다.

검출기의 신뢰도 임계값은 코드 기본값이 0.25이고, 실기 운영에서는 환경변수로 0.20을 주입한다. 0.25는 사전 임계값 스윕에서 결정한 값이고 0.20은 실기 조건에 맞춰 완화한 값이다. 임계값 스윕 결과 0.25에서 정탐률 95.3%를 유지하며 목표 물체가 존재하지 않는 프레임에 대한 오탐률이 0%였고, 0.1에서는 오탐률이 74.7%로 증가해 물체 부재를 판정할 수 없었다.

실기에서는 동일 임계값에서 검출 실패가 더 빈번하여 0.20으로 낮추었다. 다만 실기에서 검출에 실패한 프레임을 동일 모델·동일 임계값으로 재실행한 결과 197개 중 155개(78.7%)가 다시 실패하였고 전체 판정 일치율은 86.6%였다. 따라서 실기와 오프라인의 검출률 차이는 연산 환경보다는 장면 자체의 난이도에 주로 기인한다.

임계값을 낮추는 조작은 검출률을 확보하는 대가로 물체 부재 판정 능력을 희생하는 성질을 가진다. 이 절충은 후술하는 has_bbox 채널의 한계(7절)와 동일한 문제의 다른 측면이다.

검출기는 매 프레임 수행되지 않고 3프레임마다 한 번 수행되며, 그 사이 프레임은 직전 검출 결과를 유지한다(zero-order hold). 이에 따라 실효 그라운딩 주기는 약 1.3Hz이다.

이 설계가 필요한 이유는 검출 단계가 전체 지연을 지배하기 때문이다. 대상 하드웨어에서 검출 1회에 1901.7ms가 소요되어 전체 추론 지연의 약 97%를 차지하며, 매 프레임 호출 시 제어 주기를 확보할 수 없다.

대가로 기하 정보는 최대 2프레임만큼 낡은 값이 된다. 로봇이 회전하는 동안에는 이 지연이 조향 오차로 직결되므로, 다음 항의 재검출 규칙과 함께 사용해야 의미가 있다.

회전 동작에 대해서는 세 가지 보호 규칙이 적용되며, 이들은 추론 계층과 제어 계층에 나뉘어 있다. 세 규칙 모두 같은 실패 양상, 즉 회전이 과도하게 지속되어 목표가 시야에서 벗어나는 현상을 막기 위한 것이다.

제어 계층에서는 선택된 행동을 일정 시간 유지하며 반복 발행한다(약 4초, 10Hz). 그러나 제자리 회전만은 예외로, 약 0.4초 동안만 수행하고 자동으로 정지한다. 이 예외가 없으면 그라운딩 갱신에 걸리는 약 2초 동안 같은 회전 명령이 계속 재발행되어, 의도한 짧은 보정이 아니라 연속 회전이 되고 목표가 화면 밖으로 밀려난다. 반면 전후·횡 이동은 반복 발행을 유지한다.

추론 계층에서는 두 규칙이 적용된다. 첫째, 제자리 회전을 수행한 직후의 스텝에서는 시야가 변했으므로 갱신 주기와 무관하게 반드시 재검출한다. 회전 이전의 좌표를 계속 참조하면 같은 회전을 주기만큼 반복하게 된다. 둘째, 직전 스텝이 회전이었고 이번에도 회전이 선택되면 그 회전을 실행하지 않고 정지 명령으로 대체한다.

검출 실패 시 갱신 주기를 무시하고 즉시 재검출하는 기능도 구현되어 있으나, 기본값은 비활성이며 대조 실험용 선택 항목이다.

이 규칙들이 필요한 근본적인 이유는 검출 실패 상황이 학습으로 처리되지 않았다는 데 있다. 학습 데이터 16,599 프레임 중 검출 실패 프레임의 비율은 0.00%(0개)이므로, 모델은 목표를 관측하지 못하는 상태에 대응하는 행동을 학습한 적이 없다. 따라서 본 연구는 이 공백을 학습이 아니라 서빙 단계의 제어 규칙으로 우회하였다. 이는 제안 시스템의 한계이며, 학습 데이터에 검출 실패 사례를 포함시키는 것이 후속 과제이다.

정지 판정 방식은 두 가지가 구현되어 있다. 기본값은 기하 규칙에 의한 근접 판정으로, 목표의 화면 점유 면적이 0.25 이상이고 수평 위치가 중앙에서 0.35 이내인 상태가 3프레임 연속 관측되면 정지한다. 다른 하나는 학습된 정지 클래스(class 0)의 예측을 사용하는 방식이며, 실기 운영에서는 후자를 사용하였다. 후자의 경우 에피소드 시작 직후 3회의 추론에 대해서는 정지 예측을 무시한다. 행동 헤드가 6프레임의 시간 문맥을 입력받는 구조에서 시작 시점에는 과거 프레임이 존재하지 않아 현재 프레임으로 패딩되며, 이 상태에서 정지가 예측되면 출발 직후 정지하는 실패가 발생한다. 따라서 이 값은 임의로 정한 상수가 아니라 윈도우 크기에서 파생된 값이다.

한편 정지 클래스는 원본 데이터에 존재하지 않아 각 에피소드의 마지막 프레임에 부여한 합성 라벨이다. 따라서 학습된 정지 판정의 신뢰도는 데이터에서 자연히 관측된 정지 행동에 근거한 것이 아니라는 점을 명시한다.

[유지] 기존 요구 목록을 그대로 표로 옮기고, 아래 3항목을 추가합니다.

검증 분할은 프레임 단위가 아니라 에피소드 단위로 수행하였다. 같은 에피소드의 인접 프레임은 서로 매우 유사하므로 프레임 단위로 분할하면 사실상 동일한 관측이 학습과 검증에 함께 포함되어 성능이 과대평가된다.

분할 시드 42는 특별한 의미를 갖는 값이 아니라 재현을 위해 고정한 임의의 정수이다. 중요한 것은 값 자체가 아니라, 모든 실험 arm(원본 데이터·미러 증강·hold-aware 등)이 동일한 시드로 생성된 동일한 검증 집합을 공유한다는 점이다. 그래야 arm 간 정확도 비교가 검증 집합 차이가 아니라 방법 차이에서 비롯됨을 보장할 수 있다.

용어 표기 (선택) — "held-out validation" 대신 "episode-disjoint split", "held-out set" 대신 "independent validation set"으로 쓸 수 있다. 33개 에피소드가 학습 시 한 번도 관측되지 않는다는 점을 강조하려면 "unseen episodes"라는 표현도 쓸 수 있다. 다만 "held-out"도 ML/로보틱스 학회에서 표준적으로 쓰이는 용어이므로, 이는 대체가 필수라기보다 선호에 따른 선택이다. (docs/notes/training_methodology_unseen_guide.md) 실측: 33 에피소드 · 2,431 프레임 · train/val 에피소드 중복 0건(재계산으로 확인).

hold-aware 샘플링 — 무엇을 어떻게 바꾸는가

운영 시 로봇은 매 프레임 판단하지 않는다. 그라운딩이 3프레임마다 한 번만 갱신되고(1.4절) 선택된 행동은 다음 판단까지 유지된다. 학습을 프레임 단위로 하면 이 구조와 어긋나므로, 판단 단위를 학습 단위로 맞추는 샘플링을 사용하였다. 세 가지가 함께 바뀐다.

① 표집 간격 — 학습 샘플은 5프레임 간격의 결정 시점 t에서만 하나씩 구성한다. 결과적으로 16,599 프레임이 3,401개 샘플로 줄어든다(4.88배). 인접 프레임은 거의 동일한 관측이므로, 프레임 단위 학습은 표본 수를 늘리는 대신 같은 장면을 반복 학습하게 되고 특히 정지에 가까운 긴 직진 구간이 과대 대표된다.

② 윈도우 구성 — 6개 시점도 같은 간격으로 취한다. 현재 t에 대해 t−25, t−20, t−15, t−10, t−5, t를 참조하므로 윈도우가 덮는 구간은 25프레임이다. 연속 6프레임을 쓰면 6프레임 사이의 변화량이 작아 시간 정보가 사실상 중복되는데, 간격을 두면 같은 6개 입력으로 더 긴 구간의 변화를 표현할 수 있다. 에피소드 시작 부근에서 음수 인덱스는 0으로 클램프되어 첫 프레임이 반복 입력되며, 이 구간에서의 오작동을 막기 위해 운영 시 초기 3회의 정지 예측을 무시한다(1.4절).

③ 라벨 정의 — 결정 시점 t의 라벨은 그 순간의 행동이 아니라 구간 [t, t+5)에서 조작자가 취한 행동의 다수결이다. 이는 "지금 무엇을 하고 있는가"가 아니라 "다음 판단까지 무엇을 유지할 것인가"를 학습 목표로 삼는다는 뜻이며, 행동이 일정 시간 유지되는 운영 구조와 정합한다.

다수결이 실제로 라벨을 얼마나 바꾸는가 — 데이터에서 직접 세었다.

클래스 분포 변화도 작다. 정지가 8.75%→10.35%(+1.60%p)로 늘고 직진이 46.03%→44.90%(−1.13%p)로 줄어 편중이 미세하게 완화되지만, 좌우 불균형은 그대로다: 좌계열 20.39%→20.14%, 우계열 24.83%→24.61%로 격차가 4.45%p→4.47%p로 유지된다. 즉 이 샘플링은 시간 구조를 정렬하는 장치이지 클래스 불균형 보정 장치가 아니다 (불균형 보정은 클래스 가중치가 담당한다).

⚠️ 서술 시 주의 — 학습 윈도우는 5프레임 간격으로 표집되는데, 운영 시 추론 서버는 히스토리 버퍼의 연속된 6개 항목을 사용한다. 두 구성이 시간 폭에서 일치하는지는 아직 확인하지 않았다. 운영 시 한 항목이 한 번의 추론 호출에 대응하고 그라운딩 지연이 크므로 실제 시간 폭은 학습 쪽과 유사할 가능성이 있으나, 프레임 타임스탬프로 검증한 바 없으므로 논문에 "학습과 운영의 시간 폭이 일치한다"고 쓸 수 없다. 검증 항목으로 남긴다.

hold-aware 개선 폭 — CH64 64-12 원본 결과

hold-aware 샘플링을 도입한 실제 계기는 HELD(운영과 동일하게 결정 시점만 판단하고 그 사이는 직전 값을 유지한 상태에서의 프레임 판단 정확도, closed-loop 시뮬레이션 상의 오프라인 지표)였다. 3 seed로 측정한 결과는 다음과 같다.

⚠️ 이 개선을 실기 성공률과 인과관계로 서술하지 않는다. HELD는 프레임 단위 판단 정확도의 오프라인 프록시이고, 89%는 에피소드 단위 실기 도달 성공률이다. 척도가 다른 두 지표를 맞춰 해석했다가 결론을 철회한 전례가 있다(CH64 64-11). 또한 HELD 28.3% 자체도 baseline의 순수 offline 수치(39~48%대)에는 크게 못 미치므로, hold-aware는 "재수집 없이 얻을 수 있는 저비용 완화책"이라고만 서술한다 — 근본 해결책이 아니다. 그라운더를 OWL-v2로 바꿔도 HELD 25.3±3.8%로 재현되어, 이 개선이 특정 그라운더에 종속된 결과가 아님은 확인되었다.

학습은 두 단계로 구성된다.

첫 단계는 특징 추출이며 전체 데이터에 대해 한 번만 수행한다. 각 프레임에 대해 OWL-v2로 목표 물체를 검출하여 기하 4채널을 얻고, Kosmos-2 비전 타워와 선형 사상을 거쳐 시각 문맥 256채널을 얻어, 에피소드 단위 캐시로 저장한다. 이 단계의 구성요소는 모두 동결되어 있으므로 재계산이 필요하지 않다.

두 번째 단계는 행동 헤드 학습이며 캐시를 입력으로 반복 수행한다. 캐시에서 결정 시점마다 6프레임 윈도우를 구성해 1560차원 입력을 만들고, 클래스 가중 교차엔트로피로 헤드를 학습한다.

이 분리가 제안 방법의 실용적 이점이다. 연산량이 큰 인코더를 한 번만 통과시키고 이후 반복 학습은 0.866M 파라미터에만 발생하므로, 제한된 자원에서 다수의 조건을 비교할 수 있다.

학습이 끝나면 체크포인트 파일(.pt)이 생성된다. 이 파일에는 가중치뿐 아니라 재현에 필요한 설정이 함께 저장된다. 즉 헤드 종류, 윈도우 크기, bbox 배율, 결정 간격, 사용한 검출기, 데이터 구성, 검증 정확도가 하나의 파일에 기록된다.

이 기록을 남기는 것이 실제로 필요했던 사례가 있다. 실기 세션의 별도 로그에는 사용 체크포인트 항목이 비어 있었고, 어떤 모델이 동작했는지는 각 세션 HDF5 파일의 실행 설정 속성으로만 확인할 수 있었다. 이 확인을 거치지 않은 초기 분석에서는 특정 구간의 성능 향상을 신규 모델의 효과로 해석하였으나, 실행 설정을 대조한 결과 해당 세션들이 신규 체크포인트 배포 이전에 수행된 것으로 확인되어 결론을 철회하였다. 실행 시점의 설정을 데이터와 같은 위치에 기록하는 것은 부수적인 편의가 아니라 결과 해석의 전제 조건이다.

운영 시 한 프레임의 처리 경로는 다음과 같다.

전처리 단계에서 1280×720 RGB 프레임을 입력받아, 그라운딩 주기에 해당하는 프레임에서만 OWL-v2를 수행해 기하 4채널을 갱신하고 그 외에는 직전 값을 유지한다. 동시에 Kosmos-2 비전 타워와 선형 사상을 통과시켜 시각 문맥 256채널을 얻는다. 두 결과를 이어붙여 260차원 프레임 특징을 만들고 배율을 적용한 뒤, 최근 6프레임을 유지하는 버퍼에 넣는다. 버퍼가 채워지지 않은 시작 시점에는 현재 프레임으로 패딩한다.

추론 단계에서 버퍼를 1560차원으로 펼쳐 행동 헤드에 입력하고, 8개 클래스 로짓의 최대값을 선택한다.

후처리 단계에서 1.4절의 제어 규칙을 적용한다. 시작 직후 정지 억제, 회전 직후 강제 재검출, 연속 회전 차단(정지로 대체)을 검사한 뒤 최종 행동을 로봇 속도 명령으로 변환한다.

변환된 명령은 제어 계층에서 약 4초 동안 10Hz로 반복 발행되며, 그 사이 새 추론 결과가 도착하면 갱신된다. 즉 추론 주기(약 1.3Hz)와 명령 발행 주기(10Hz)가 분리되어 있고, 이 구조 때문에 회전에 대해서만 시간 기반 단발 실행이 필요하다(1.4절).

속도 명령의 크기는 사용하지 않는다. 대상 로봇의 펌웨어가 방향만을 반영하는 상수 속도 구조이기 때문이며, 이 제약이 이산 행동 공간을 채택한 근거의 하나이다(1.3절).

런타임 순서도 — 위 서술을 3회 호출 단위로 표현하면 다음과 같다. grounding_skip_n=3이므로 1회차만 OWL-v2와 Kosmos-2를 모두 호출하고, 2·3회차는 Kosmos-2(비전)만 호출하며 좌표는 1회차 값을 그대로 쓴다. 세 경로 모두 클래스 번호 → 3자유도 속도(x, y, z) → CAN 통신 → 바퀴 전달의 동일한 후반부를 거친다.

상단의 서빙 제어 파라미터 요약(검출 임계값·그라운딩 호출 간격·콜드스타트 가드·회전 규칙· 제어 계층의 명령 발행 방식)은 1절 모델 파이프라인 도표에서 분리해 이 도표로 옮긴 것이다 — 모델 구조와 런타임 동작은 별개 관심사이므로 도표도 분리한다.

회전(ROT_L/ROT_R)이 선택된 경우는 이 주기의 예외다 — 제어 계층에서 0.4초 후 자동정지하며, 동시에 다음 호출은 주기와 무관하게 강제로 1회차(전체 그라운딩)로 처리된다(1.4절).

검출 임계값을 포함한 서빙 제어 파라미터는 추론 서버 실행 시 환경변수로 주입되며, 지정하지 않으면 코드에 정의된 기본값을 사용한다. 동일한 방식으로 다중 프롬프트 사용 여부, 언어 디코더 적재 여부, 초기 정렬 동작 사용 여부를 제어한다.

실행 중 실제로 적용된 값은 해당 세션의 기록 파일 속성에 저장되므로, 사후에 어떤 설정으로 동작했는지를 데이터와 함께 확인할 수 있다(5.2절).

기존 요구 원문 문단이 이미 정확합니다. 아래 한 문단만 보태면 서술이 완결됩니다.

이 한계는 학습 데이터에만 있는 것이 아니다. 검출기 자체도 장면에 존재하지 않는 물체를 요청받았을 때 부재를 확정하지 못한다. 목표와 무관한 물체명을 질의한 대조 실험에서 200 프레임 중 5.0%에 대해 여전히 박스를 산출하였으며, 해당 신뢰도의 중앙값은 임계값 직상인 0.267이었다. 즉 "관측되지 않음"을 판정하는 능력의 부재는 학습 단계와 검출 단계 양쪽에 걸쳐 있고, 이것이 서빙 제어 규칙에 의존하게 된 구조적 이유이다.

학습(Stage 1) 시점에는 프레임 16,599개 전량에 대해 검출 또는 그라운딩 주기 상속으로 좌표가 채워진 상태였다. 즉 학습 데이터의 has_bbox는 전량 1.0이고, 좌표는 검출값 또는 직전 검출값의 상속값이다. 학습 데이터에 has_bbox=0(검출 실패이자 상속도 없는 상태)인 프레임은 존재하지 않는다(0/16,599, 0.00%).

이 사실이 뜻하는 바는 명확하다 — 모델은 목표를 전혀 관측하지 못하는 상태에 대응하는 행동을 학습한 적이 없다. 따라서 실기에서 검출이 완전히 실패하는 상황은 학습된 추론으로 처리되지 않으며, 대신 서빙 제어 로직(회전 직후 강제 재검출, 연속 회전 시 정지로 대체)으로 우회한다(1.4절). 이는 학습 데이터의 공백을 규칙 기반 안전장치로 메운 것이며, 후속 과제로 검출 실패 사례를 학습 데이터에 직접 포함시키는 것이 남아 있다.