엄밀히 말해 사진은 3차원의 공간을 촬영하여 2차원 평면으로 압축하는 '뺄셈의 기술'이었습니다. 반면 SAM 3D를 위시한 최신 AI 기술은 그 2차원 평면을 다시 입체적인 공간으로 되살려내는 정반대의 역학적 과정을 수행합니다. 이는 마치 사진의 반대급부와도 같은 복원의 과정입니다.

이러한 역행적인 기술이 지금 시점에 등장한 이유는 폭발적으로 늘어난 3D 콘텐츠의 수요에서 찾을 수 있습니다. 과거 사진 기술의 발명이 영상과 인터넷 매체에 수많은 2D 콘텐츠를 범람하게 만들었듯, 다가오는 공간 컴퓨팅 시대는 그 빈 공간을 채울 방대한 양의 3D 데이터를 필요로 하기 때문입니다.

해외의 XR 스튜디오 FUN AND AWE에서, 애플 비전 프로Vision Pro 전용 음악 조립 애플리케이션, 오퍼레이터OPERATOR를 공개했습니다. 오퍼레이터는 기존 음악 툴처럼 2D 화면에 트랙을 쌓는 게 아니라, 신스, 킥, 스네어, 하이햇 같은 단위의 소리가 공간 속 큐브처럼 떠 있고, 손으로 집어서 옮기거나, 비틀고, 늘려서 작곡하는 UX를 제시했습니다.

해당 스튜디오는 지난 반 년 동안 AR/VR 기반 UX을 연구해왔고, 오퍼레이터가 그 첫 번째 결과물이라고 합니다. 아직 공감대를 형성하지 못하는 듯한 비전 프로의 공간 컴퓨팅 개념이지만, 이와 같이 콘텐츠 측면에서 그 사례가 등장하고 있습니다.

GIST 연구팀이 차량의 실제 가속·감속을 VR 속 ‘상하 이동 감각’으로 바꾸는 감각 재지향(Motion Reorientation) 기술을 개발했습니다.

이 기술은 차가 가속할 때 사용자가 느끼는 뒤로 밀리는 힘을 VR에서는 상승 감각으로, 감속할 때 앞으로 쏠리는 힘을 하강 감각으로 변환합니다. 즉, 수평으로만 움직이는 차량의 관성력을 VR에서 수직 움직임처럼 인식하도록 만드는 알고리즘입니다.

이는 사실 인간이 중력과 가속을 명확히 구분하지 못하는 중력 착각을 하기 때문인데요, GIST 연구팀은 이를 이용해 실제로는 위아래로 움직이지 않아도 비행기처럼 오르내리는 감각을 차량 안에서 구현한 것입니다.

이러한 기술은 곧 자율주행차량을 콘텐츠 향유 공간으로 만들고픈 차량 제조업체의 니즈와 결합될 수 있습니다. 적절한 콘텐츠 제작과 안전 규범에 대한 사회적 합의가 이뤄진다면, 자가용이 곧 심레이싱을 넘어선 심 파일럿 장비가 되는 시대가 올 수 있지 않을까요?

- 국내 논문 검색에서 탐색되지 않아 부득이하게 대체 링크 제공 -

ETH 취리히 연구자들이 AI와 XR을 결합한 디지털 코파일럿을 개발하여 노후된 사암 건출물의 보존 상태를 분석하고 복원 작업을 지원하고 있습니다. 해당 기술은 750년의 역사를 지닌 스위스 로잔 대성장이 실증 사례로 적용되었으며, 레이저 스캔 및 사진 측량 기반 3D 모델과 석재의 손상·연대·구성 정보를 통합했습니다.

네이버는 지난 20일 유럽에서 열린 ‘AI 포 로보틱스’ 워크숍에서 3D 복원 모델 더스터DUSt3R의 새 버전과 3D 바디모델 애니Anny를 공개했습니다. 더스터는 한 장의 사진으로 공간을 3D로 재구성하는 기존 모델로, 이를 고도화해 상용화를 고려한 버전이 발표되었습니다. 앞서 언급된 메타의 SAM 3D와 유사하나, 사진 한 장의 시야를 스캐닝하는 가우시안 스플래팅에 가까운 것으로 보입니다.

3D 바디모델 애니는 전 세계 인체 데이터를 기반으로 연령과 체형을 세밀하게 표현할 수 있도록 만든 모델입니다. 네이버랩스 유럽은 애니를 활용해 사람을 더 정확히 인식하고 자연스러운 상호작용을 가능하게 하는 로봇 기술을 연구하고 있으며, 해당 모델은 지난 6일 오픈소스로 공개됐습니다. 이 또한 언리얼 엔진의 메타휴먼을 연상하게 하는데, 메타휴먼으로 얼굴을 만들고 애니로 바디모델을 만드는 워크플로우를 떠올려볼 수 있겠습니다.

레알 마드리드와 애플이 180도 스테레오스코픽 3D, 4K×4K 해상도, 90FPS, HDR, 공간 음향을 갖춘 애플 이머시브 비디오Apple Immersive Video 형식의 다큐멘터리를 2026년 선보일 예정입니다. 해당 작품은 지난달 챔피언스리그 유벤투스와의 경기에서 30대 이상의 블랙매직 이머시브 카메라로 촬영되었으며, 연습장과 경기장 내부, 드레싱룸까지 팬들이 쉽게 볼 수 없던 장면들을 담았습니다.

레알 마드리드 회장 플로렌티노 페레스Florentino Pérez는 이번 프로젝트가 “전 세계 수십억 팬과 경기장을 연결하는 장기 전략의 출발”이라고 설명하며, 경기장을 XR 스트리밍하는 등 구단의 다양한 콘텐츠 전략을 총망라한 ‘무한 베르나베우Infinite Bernabéu’ 계획을 언급하기도 했습니다.