EdgeGround-VLA 논문 25개 보완항목 실측 코드/실험 검증 리포트

📄 "본 연구의 EdgeGround-VLA 파이프라인 구조는 [그림 1]과 같다. 입력 1프레임은 OWL-v2 Detector와 Kosmos-2 Vision Encoder로 동시 전달되며, 추출된 260차원 특징을 윈도우 6으로 링버퍼에 누적하여 1560차원으로 경량 MLP 헤드에 전달한다."

📄 "단일 프레임 특징 벡터 f_t ∈ R^260 은 4차원 위치 기하 벡터와 256차원 시각 문맥 임베딩의 결합으로 구성된다."

📄 "FRAME_DIM = D_bbox + D_vision = 4 + 256 = 260 수식을 따르며, 저차원 위치 정보와 high-level 시각 문맥을 직접 Concatenate한다."

📄 "위치 벡터는 OWL-v2의 바운딩 박스 출력 (cx, cy, area, has_bbox) 4개 채널에 배율 스케일링(bbox_scale=3.0)을 전체 적용하여 계산된다."

📄 "시각 특징 벡터는 Kosmos-2의 Frozen vision_model(1024차원)에서 추출된 후, 단층 Linear Projection(1024→256)과 L2 Normalization을 거쳐 단위 벡터로 정규화된다."

📄 "MLP 행동 헤드의 입력은 최근 6개 프레임의 특징 벡터를 시간 순서대로 Flatten한 1,560차원 벡터 X_t ∈ R^(6×260) = R^1560 을 사용한다."

📄 "행동 헤드는 2개의 Hidden Layer(512→128)를 거쳐 8개 이산 행동 클래스에 대한 로짓을 출력하며, 전체 학습 파라미터는 865,928개로 제한된다."

📄 "End-to-End VLA 방식은 fine-tuning 과정에서 언어-시각 어텐션 붕괴(Text Attention 0.000%)가 발생하여 오프라인 지표가 높아도 실시간 주행 성공률이 0%에 그쳤다. 이를 극복하기 위해 OVD 명시적 기하 좌표(4ch)와 VLM 비전 문맥(256ch)을 Concatenate하는 Heterogeneous Decomposition 구조를 도입하였다. 무거운 백본을 Frozen시킨 채 단 0.866M 파라미터의 경량 MLP 헤드만을 2단계로 학습시키는 본 모듈식 설계는 무거운 백본 재학습 없이도 225ep 데이터 효율성과 sub-ms 추론 속도를 확보하였으며, 실제 실기 100회 평가(5개 목표 위치 × 20회)에서 89%의 실주행 성공률(89/100, FPE 0.55m)을 달성하여 그 구조적 당위성을 증명하였다."

📄 "OWL-v2 검출 임계값은 ROC 실측 최적치인 0.25(오탐율 0%, 정탐율 95.3%)를 기준으로 설정하였으며, 엣지 하드웨어(Jetson Orin)의 실시간 정밀도 보정을 위해 운영 시 0.20으로 완화 적용하였다."

📄 "grounding_skip_n=3 설정을 적용하여 무거운 OWL-v2 검출 연산(Jetson 기준 프레임당 1,901.7ms 소모)을 3프레임마다 1회만 수행하고, 중간 프레임은 이전 바운딩 박스를 유효하게 유지(Zero-order hold)함으로써 1.3Hz의 실효 제어 주기를 확보한다."

📄 "회전 조향 시 타겟 객체가 카메라 시야를 벗어나는 문제를 방지하기 위해 1) 회전 완료 직후 skip_n을 무시하고 즉시 재그라운딩을 실행하며, 2) 제어 계층에서 회전 동작 지속시간을 0.4초로 엄격히 제한(move_and_stop_ramped)하고, 3) 2회 연속 회전 명령 발생 시 정지 명령([0,0])으로 대체하는 안전 제어 기법을 적용한다."

📄 "정지 판정은 기하 규칙 대신 학습된 STOP 클래스(Class 0)를 사용하며, 주행 초반 과거 프레임 패딩으로 인한 오정지를 방지하기 위해 초기 3회 추론까지 STOP 판정을 무시하는 Cold-start Guard(가드 3)를 적용한다."

📄 "로봇은 항상 중앙 위치에서 출발하며, 타겟 물체(Basket)의 상대 위치를 5개 지점(정면, 약좌, 강좌, 약우, 강우)에 균등하게 배치(각 45ep, 총 225ep / 16,599프레임)하여 HDF5 파일 규격으로 데이터를 수집하였다. 수집 설계상 좌/우 타겟 에피소드(각 90ep) 및 프레임 수(6,910 vs 6,870)는 대칭이었으나, 사람이 조작할 때 우측 타겟을 향한 조향 반응(4,122 프레임)이 좌측 타겟 조향 반응(3,384 프레임)보다 +21.8% 더 길게 입력되는 편향이 존재하였다. 이를 보정하기 위해 손실 가중치(Class Weight) 및 미러 증강(Mirror Augmentation)을 적용하였으며, 외부 재현성을 위해 LeRobot v3.0 포맷 내보내기 파이프라인을 구축하였다."

📄 "학습은 2단계 파이프라인으로 진행된다. Stage 1에서는 무거운 백본 인코더의 출력 특징을 1회 사전 추출하여 에피소드 캐시(.pt)로 저장하고, Stage 2에서는 사전 추출된 특징을 바탕으로 0.866M 파라미터의 MLP 행동 헤드만을 고속으로 반복 학습한다."

📄 "에피소드 단위 15% 검증 집합 분할(SPLIT_SEED=42) 환경에서, 5-stride 이동 윈도우 내 다수결 라벨링을 적용하여 hold-aware 데이터셋을 구성하였다."

📄 "시간 문맥 윈도우 크기는 W=6으로 설정하며, 기하 박스 4채널 벡터에는 3.0의 스케일 배율을 적용하여 시각 임베딩과의 수치적 가중 밸런스를 맞췄다."

📄 "행동 공간은 8개 이산 클래스로 구성되며, Optimizer는 AdamW(Learning Rate = 5e-4, Weight Decay = 1e-4)를 사용한다."

📄 "총 300 Epoch 동안 CosineAnnealingLR 스케줄러를 적용하여 학습을 진행하며, 25 Epoch 간격으로 검증 집합 평가를 수행하여 최상위 성능의 체크포인트를 최종 모델로 선정한다."

📄 "FORWARD 행동 클래스(전체의 72.61%)로의 데이터 편향 및 조향 행동 비율 차이를 보정하기 위해, 클래스별 발생 빈도의 역수(1/freq)를 계산하고 합이 8이 되도록 정규화한 손실 가중치(Class Weight)를 Cross-Entropy 손실함수에 적용한다."

📄 "모델 평가의 신뢰성을 확보하기 위해 3개의 무작위 시드(Seed 0, 1, 2)에서 반복 학습을 수행하고 검증 정확도의 분산을 확인하였다."

📄 "학습 결과물로 출력되는 단일 파일(*.pt)에는 MLP 헤드의 가중치(state_dict)뿐만 아니라 런타임 검증에 필수적인 메타데이터(window=6, bbox_scale=3.0, head=exp73_mlp 등)가 통합 저장된다."

📄 "학습된 헤드(*.pt) 및 프로젝션 레이어는 SerbotII 로봇의 Jetson Orin 온보드 환경에 배포되며, HTTP API 기반 추론 서버(stage2_v2_inference_server.py)로 탑재된다. 특히 불필요한 언어 디코더(1.361B) 로드를 차단함으로써 엣지 호스트 RAM 사용량을 10.59GB에서 3.20GB로 70% 절감하여 탑재 안정성을 확보하였다."

📄 "런타임 시 1프레임 입력에 대해 1) 카메라 이미지를 입력받아 OVD 및 VLM 비전 타워 전처리를 수행하고 2) 최근 6프레임 링버퍼 구조에 특징을 Push 및 Flatten하여 3) MLP 모델 추론으로 8클래스 로짓을 산출한 뒤 4) Cold-start Guard 및 연속 회전 차단 후처리 로직을 적용하여 최종 로봇 속도 제어 명령을 발행한다."

📄 "런타임 서빙 제어 파라미터(threshold 등)는 환경변수(VLA_OWLV2_THRESH)를 통해 동적으로 주입되며, 해당 실행 설정은 사후 검증 및 재현성을 위해 생성되는 모든 세션 HDF5 파일의 attrs['runtime_config']에 자동 기록된다."

📄 "타겟 검출 실패 시 위치 채널에는 고정 Fallback 값(cx=0.5, cy=0.6, area=0.06)과 함께 has_bbox=0 신호가 주입된다. 학습 데이터 내 미검출 프레임의 부재(0.00%)로 인한 모델의 응답 한계를 극복하기 위해, 실기 환경에서는 이를 학습에 의존하지 않고 서빙 제어 로직(강제 재그라운딩 및 정지 치환)으로 정밀하게 우회 조치하였다."

📄 "학습 단계(Stage 1)에서는 전체 16,599개 훈련 프레임 100%(16,599/16,599)에 대해 타겟 객체 검출 결과 또는 전파 박스가 존재하여 has_bbox=1.0 상태의 유효한 위치 좌표(cx, cy, area)로 모델이 학습되었다. 즉, 학습 데이터 내에 has_bbox=0.0 (타겟 부재) 샘플이 0.00% 존재함에 따라, 런타임 검출 실패 상황은 학습된 모델 자체의 추론에 의존하지 않고 서빙 단계의 제어 안전 가드(강제 재그라운딩 및 회전 차단/정지 치환)를 통해 우회 처리되었다."