RFM 핵심 ‘범용성’…승부처는 결국 데이터

[산업일보]
로봇이 사전에 학습하지 않은 환경·작업 등에서도 작동하는 능력이 로봇파운데이션모델(RFM)의 핵심이며, 이는 데이터의 양에 좌우된다는 주장이 나왔다.

한국전자통신연구원(ETRI) 로봇파운데이션모델연구실 한병옥 연구실장은 20일 서울 영등포구 FKI타워 컨퍼런스센터에서 열린 ‘VLA에서 RFM·월드모델 까지 피지컬 AI 로봇 기술과 산업 적용’ 세미나에 연사로 나서 RFM 연구 성과를 발표했다. 세미나는 한국미래기술교육연구원이 개최했다.

한 연구실장은 서두에서 ETRI가 개발한 VLA(Vision Language Action) 모델을 소개했다. 이중 프로세스 구조로 고차원 추론을 맡는 System2는 VLM을 기반으로 작업 목표를 해석해 고차원 레이턴트(Latent)를 생성하고 System1 이를 기반으로 로봇의 직접적인 행동을 생성한다. 두 시스템은 독립적으로 학습돼 System2와 연결이 끊겨도 System1이 동작을 이어갈 수 있다.

지시어 실험 결과도 공개했다. 짧은 지시어로 학습한 모델은 작업 성공률이 높았지만, ‘왼손으로 집어 오른손으로 전달한 뒤 상자에 넣어라’와 같은 세부 지시 이행능력은 긴 지시어를 학습한 모델이 더 높았다. 두 지시어를 섞어서 학습한 모델은 혼동이 생기는 모습을 보였다고 전했다.

그는 “언어 이해 능력(Language Understanding)과 연속 행동 생성(Continuous Action Generation)이 가능하다고 해서 RFM이라고 할 순 없다”라며 “다른 로봇, 다른 환경, 다른 작업에서도 적용할 수 있는 일반화 능력을 갖춰야 한다”라고 강조했다.

이어 ChatGPT와 같은 ‘프론티어 AI’가 데이터 학습을 확대하면서 인간의 능력을 뛰어넘는 성능에 도달하게 됐다며 “RFM의 열쇠도 결국 데이터다”라고 덧붙였다.

휴머노이드 로봇 연구의 당위성도 이러한 관점에서 찾았다. ‘인간을 닮은 로봇’이기 때문에 수천 년간 축적된 인간의 행동 경험을 활용하기 유리한 플랫폼이라는 것이다.

ETRI는 정부과제로 ‘Data Factory'를 약 1년 반 동안 진행하고 있다. 다양한 기업의 여러 종류 로봇 8대를 운영하며 데이터를 수집하고 있다. 세탁기·냉장고·전자레인지를 비롯한 가사 노동 영역부터 완성차 기능 검사 작업 등이 대상이다. 7월부터 10월 7일까지 약 3개월간 675시간 분량의 데이터를 확보했다.

한병옥 연구실장은 “충분한 데이터가 있다면 휴머노이드 로봇의 높은 자유도 구현과 다양한 하드웨어 지원, 전신 제어 등이 가능하다는 것을 확인했다”라면서도 “하지만 여전히 데이터는 부족한 실정이다”라고 말했다. 지구상 무한히 다양한 환경을 다 데이터화 할 수 없고, 힘·촉각 공개 데이터는 3천여 시간 수준이며, 전신 데이터는 수집 시작 단계라는 설명이다.

더불어 “RFM에서는 인간만큼 다양한 일반화 능력을 갖추고 있는 모델이 등장하지 않았다”라며 “핵심은 파인튜닝 과정 없는 범용성을 갖추는 것으로, 가능성을 보여주는 결과가 나오고 있다”라고 했다. 근거로는 엔비디아(NVIDIA)의 연구에서 사람의 1인칭 영상을 사전학습하는 양을 늘릴수록 로봇의 작업 성공률이 증가했다는 사례를 제시했다.

그러면서 프론티어 AI 활용 가능성도 짚었다. 사전에 학습되지 않은 환경에서 클로드(Claude )의 오퍼스(Opus) 5.5 모델을 적용해 음료수 캔을 상자에 넣게 해봤더니, 3번 시도 중 2번 성공했다는 것이다. 다만 성공에는 500초의 시간과 VLM 호출 44회에 따른 1.2달러(API 비용 환산 기준)가 소요됐다.

한 연구실장은 “유튜브(YouTube)에 약 3만 5천 년 분량의 영상이 업로드돼있다는 추정이 있는데, 월드 모델을 활용해 사람의 3인칭 영상을 휴머노이드 로봇 학습에 쓸 수 있다면 더 값싸고 다양한 데이터를 확보할 수 있을 것”이라고 내다보기도 했다.