2013년. 오큘러스 리프트 DK1이 세상에 처음 공개됐을 때의 충격을 아직도 잊지 못하고 있습니다. 물론 지금 이 제품을 다시 본다면 비교하기 민망한, 장난감 정도의 단순한 완성도지만, 분명 그 당시에는 이전과는 다른 ‘몰입감’의 새로운 지평이었습니다.

Oculus Rift DK1

그로부터 10년이 넘는 시간이 흐르면서, XR은 단순히 ‘보는 기술’의 영역을 넘어서기 시작했습니다. 이제는 손을 움직이고, 몸을 기울이고, 심지어 시선을 보내는 행위 하나하나가 가상 공간 속 상호작용으로 바뀝니다. 덕분에 XR을 경험한다는 건 단순히 ‘화면을 본다’ 가. 아닌, 그 안에서 살아가는 방식에 가까워지고 있습니다.

이러한 변화의 중심에는 항상 입력 장치가 있습니다. 컨트롤러를 쥐고 버튼을 누르던 방식에서 시작해, 카메라가 손을 인식하고, 장갑을 통해 촉각을 되살리고, 눈동자 움직임으로 화면을 제어하는 단계까지 와 있습니다. 입력 장치는 더 이상 주변기기가 아니라, XR 경험 자체를 규정하는 가장 중요한 축이기도 합니다.

이번 시간에는 XR 입력 장치가 어떤 방식으로 발전해왔는지, 그리고 각 기술이 사용자 경험을 어떻게 바꿔놓았는지를 차례로 살펴보겠습니다.

XR 입력 장치의 시작을 이야기할 때 빼놓을 수 없는 것이 바로 고전적인 게임 컨트롤러입니다.

Oculus Rift 에 포함된 엑스박스 컨트롤러 (출처 : Adam Savage’s Tested)

엑스박스 패드나 플레이스테이션 듀얼쇼크와 같은 컨트롤러는 수십 년간 게이밍 환경에서 가장 보편적인 입력 방식으로 자리 잡아 왔으며, XR의 초창기에도 사실상 표준으로 기능했습니다. 이 상황에서, 새로 출시된 오큘러스 리프트를 위시한 초창기 XR 하드웨어 시장에는, 이들을 위한 전용 모션 컨트롤러가 존재하지 않았죠. 그래서 사용자들은 머리에는 HMD, 손에는 게임 패드를 쥐고 가상 세계를 체험했습니다.

고전 컨트롤러의 가장 큰 장점은 익숙함입니다. 이미 전 세계 수억 명의 게이머가 버튼과 아날로그 스틱 조작에 친숙하기 때문에 별도의 학습이 필요하지 않으며, 정밀한 조작과 범용성 역시 강점으로 꼽힙니다. 여기에, 컨트롤러 하나로 PC·콘솔·모바일은 물론 XR 기기까지 대응할 수 있는 범용성도 가지고 있습니다.

(중략)

3DoF 컨트롤러: 손목 활용의 시작

XR 입력 장치의 진화 과정에서 중요한 전환점을 마련한 것은 바로 3DoF(3 Degrees of Freedom) 컨트롤러입니다. 3DoF 컨트롤러는 이름 그대로 세 가지 자유도, 즉 상하 회전(Pitch), 좌우 회전(Yaw), 비틀림(Roll)만을 인식하는 장치입니다.

Oculus Go (출처 : Meta)

내부에는 자이로스코프와 가속도 센서가 탑재되어 있어 손의 각도 변화를 감지하지만, 공간 속 위치 이동(앞뒤·좌우·상하)은 추적하지 못합니다. 다시 말해, 손을 앞으로 뻗으면 가상 세계 속 컨트롤러도 앞으로 뻗어야 하지만, 실제 3DoF 컨트롤러는 여전히 제자리에서 회전만을 반영하는 구조입니다.

이 방식은 기술적으로 단순하기 때문에 비교적 저렴하고 가벼운 하드웨어로 구현할 수 있기에, VR의 대중화 초기에는 Google Daydream, Samsung Gear VR, Oculus Go과 같은 보급형 HMD에 널리 채택되었습니다.

(중략)

6DoF 컨트롤러: 가장 익숙해진 방식

현재 VR 컨트롤러의 표준으로 자리 잡은 것이 바로 6DoF(6 Degrees of Freedom) 컨트롤러입니다. 6DoF는 앞서설명한 3DoF의 회전 자유도(Pitch, Yaw, Roll)에 더해, 앞뒤(Forward/Backward), 좌우(Left/Right), 상하(Up/Down)의 병진축(위치 이동)까지 추적하는 방식을 의미합니다.

다양한 센서를 내포하고 있는 6DoF 컨트롤러 (출처 : Brian Wond - BadVR)

기술적으로 6DoF 컨트롤러는 내부 IMU 센서(가속도계, 자이로스코프)와 함께 외부 추적 장치가 결합되어 동작합니다. 초기에는 HTC - Valve의 라이트하우스 방식이 외부 베이스 스테이션을 활용하여 정밀한 공간 좌표를 계산했습니다. 이후 Meta Quest 시리즈처럼 HMD 자체에 내장된 카메라가 사용자의 손과 컨트롤러 위치를 추적하는 인사이드-아웃(Inside-out) 방식이 보급되면서, 추가 센서 없이도 손 움직임 전체를 인식할 수 있게 되었습니다.

6DoF 컨트롤러의 등장은 XR 경험에 혁신적인 변화를 가져왔습니다. 단순히 버튼을 누르는 것이 아니라, 가상 세계의 물체를 실제로 집고, 던지고, 회전시키는 행위가 가능해졌습니다. 사용자가 의자에서 일어나 몸을 앞으로 기울이면 화면 속 아바타도 함께 움직이고, 손으로 활을 당기면 컨트롤러의 움직임이 그대로 반영되어 활시위를 당기는 몰입을 제공합니다. 이는 단순한 조작 장치가 아니라, 현실의 몸짓을 디지털로 변환하는 매개체로서의 성격을 확립한 것입니다.

(중략)

핸드 트래킹: 손이 편한 손짓

XR 입력 장치의 발전에서 또 하나의 중요한 전환점은 핸드 트래킹(Hand Tracking) 기술의 등장입니다. 핸드 트래킹은 말 그대로 컨트롤러를 들지 않고, 사용자의 손 자체를 입력 장치로 인식하는 방식입니다. HMD에 탑재된 카메라와 알고리즘이 손의 위치와 관절 움직임을 분석하여, 손을 그대로 재현합니다.

애플 비전 프로의 핸드트래킹 예시

이 방식의 가장 큰 장점은 직관성과 진입 장벽의 감소입니다. 별도의 장치를 착용하거나 버튼의 조작법을 배우지 않아도, 사용자는 평소처럼 손을 뻗고, 집고, 가리키는 동작만으로 XR 세계와 상호작용할 수 있습니다. 예를 들어 메뉴 선택은 손가락으로 버튼을 가리켜 누르면 되고, 오브젝트를 잡는 동작 역시 실제 손 모양 그대로 반영됩니다. 특히 처음 XR을 접하는 사용자에게는 “손” 그 자체가 컨트롤러라는 점에서 친숙하고 직관적인 경험을 제공합니다.

비전 프로 2가 아닌 비전 프로 리마스터링이 나온다? (출처 : TechRader)

애플에서 올해 말 업그레이드된 SoC인 M5를 애플 Vision Pro Refresh에 적용시킬 것이라는 관측이 나왔습니다. 기존의 Vision Pro는 신형 기기임에도 가장 최신 칩을 이식받지 못하고 2년전 칩인 M2를 장착했지만, 이번 Vision Pro Refresh는 신형 M5를 장착할 것이라는 의견이 나왔습니다. M5는 3나노 공정으로 GPU와 메모리, RAM, CPU 등 전반적인 면에서 더욱 강력한 칩이 될 것으로 예상됩니다. 특히 M2의 기존 제품과 M5의 새로운 제품의 가격 차이가 거의 나지 않을 것이라는 소식 또한 전해지고 있습니다.

👻 프린스턴, VR·AR에서 현실 물품 배달하는 ‘보이지 않는 로봇’ 공개

사람만한 가정용 로봇이 VR에서는 보이지 않는다! (출처: UploadVR)

프린스턴 연구팀이 VR·AR 환경에서 실제 물품을 배달하는 ‘보이지 않는 모바일 로봇’ 을 공개했습니다. 사용자가 Quest 3 헤드셋에서 3D 모델을 집어 책상 위에 놓으면, 현실에서 로봇이 실제 음료를 배치합니다. 이 과정에서 로봇은 시각적으로 지워져 순간이동처럼 보이도록 연출됩니다. 연구팀은 로봇을 다른 형태로 재스킨하는 것도 가능하다고 밝혔습니다. 이번 기술은 ACM UIST 학회에서 발표되었으며, VR·MR 환경에서 물리적 객체와 상호작용할 수 있는 핵심 인터페이스로 주목받고 있습니다.

👀 HTC, ‘바이브 이글’ 스마트 글래스 공개

디자인은 훌륭한 HTC Vive Eagle (출처: The Verge)

HTC가 스마트 글래스 ‘바이브 이글’을 공개했습니다. 2017년 당시 VR 헤드셋 시장을 선점하는 듯 했지만, 결국 오큘러스 퀘스트(현 메타 퀘스트) 라인업에 밀려 미약한 점유율을 보이고 있는 바이브 라인업의 첫 스마트 글래스 제품입니다. 해당 제품은 고급 렌즈와 ChatGPT 등 LLM 선택 연동 기능을 지원하지만, 카메라 기능이 없는 등 메타의 하이퍼노바보다 성능은 비교적 낮은 래이밴-메타 수준의 제품으로 판단됩니다. 대만에서만 출시되지만 출시가격이 520달러 선으로 책정되었으며, 이는 래이밴-메타보다 더 높은 가격입니다.