울산과학기술원(UNIST)이 한 대의 카메라로 촬영한 RGB 영상만으로 양손과 낯선 물체의 상호 작용을 실시간 3D로 복원하는 인공지능 기술을 선보였다.

백승렬 UNIST 인공지능대학원 교수 연구팀은 'BIGS(Bimanual Interaction 3D Gaussian Splatting)' 모델을 통해 이 같은 성과를 달성했다고 9일 밝혔다.

종전 기술들은 한 손 인식이나 미리 스캔된 물체에만 대응 가능했던 반면, BIGS는 두 손이 복잡하게 얽힌 상황에서도 전체 형상을 안정적으로 파악한다. 특히 손의 일부가 가려지거나 처음 접하는 물체라도 학습된 시각 정보를 바탕으로 보이지 않는 영역까지 자연스럽게 재구성해낸다.

핵심 기술은 3차원 가우시안 스플래팅에 기반한다. 이는 사물을 퍼지는 점 구름 형태로 나타내는 방식으로, 픽셀 단위의 뚜렷한 경계를 가진 포인트 클라우드와 달리 손과 물체의 접촉면을 더 부드럽게 표현한다.

연구팀은 모든 손을 하나의 기준 손 구조에 정렬하는 방식으로 겹침 문제를 해결했다. 여기에 확산모델 기반의 점수 증류 방식을 더해 영상에 드러나지 않은 물체 후면까지 복원하는 데 성공했다.

ARCTIC, HO3Dv3 등 국제 데이터셋 실험에서 BIGS는 손 자세와 물체 형상, 상호 접촉 정보 복원 및 렌더링 품질 모든 면에서 기존 기술을 앞섰다.

온정완 연구원이 제1저자로, 곽경환·강근영·차준욱·황수현·황혜인 연구원이 공동 연구자로 참여한 이번 연구는 오는 11일부터 5일간 미국에서 개최되는 CVPR 2025에 채택됐다.

백승렬 교수는 "가상현실, 증강현실, 로봇 제어, 원격 수술 시뮬레이션 등 광범위한 분야에서 실시간 상호 작용 복원 기술로 활용될 전망"이라고 말했다.