이게 정말... "미래"일까요?

이 글에서 우리는, XR의 다양한 입력 관련 UX 문제 중에서도, 텍스트 입력에 집중하고자 합니다.

결국 XR이 진정한 생산성 도구로 자리 잡으려면, 텍스트를 빠르고 정확하게 입력하고 편집하는 문제를 반드시 해결해야 합니다. 그렇기에 오히려, 지금 텍스트 입력은 XR의 가장 취약한 고리입니다.

세상에서 가장 큰 모니터

Apple은 Vision Pro를 ‘공간 컴퓨터’라 부르고, Meta는 Quest를 ‘가상 오피스’로 마케팅합니다. 실제로 거대한 가상 모니터 여러 개를 허공에 띄우고 몰입감 있는 환경에서 작업할 수 있습니다. 그러나 근본적인 모순이 있습니다.

물론 Quest 덕분에 Output은 확실히 확장됐습니다. 27인치 모니터 대신 방 전체를 캔버스로 쓸 수 있죠. 그러나 Input은요? 여전히 물리적 키보드와 마우스를 연결해야 합니다. 혁신적인 공간 컴퓨팅 기기의 실제 사용 모습은 이렇습니다: XR 헤드셋을 쓰고, 책상에 앉아 키보드와 마우스를 연결하고, 기존 데스크탑의 앱을 띄워서 작업합니다.

결국 XR 헤드셋은 그냥 “머리에 쓰는 대형 모니터”라 평가하는 이들이 많은 까닭입니다.

늘어난 차원, 2D에 머무르는 입력

디지털 UX 발전 역사를 살펴봅시다. 당연하게도, 키보드와 마우스는 2D 스크린을 위해 설계됐습니다. X-Y 좌표 위에서 포인터를 움직이고 순차적으로 문자를 입력하는 방식은 1984년 매킨토시 이후 40여 년간 거의 변하지 않았습니다. 그리고 이 패러다임이 3D 공간에 이식된 것이, 지금의 모든 XR UX입니다.

• VR 컨트롤러: 본질적으로 6DoF 포인터입니다. 레이저 빔으로 가리키고 트리거를 당기는 방식으로 결국 공간 속의 마우스 입니다.

• 가상 키보드: QWERTY 배열을 허공에 띄워놓고 한 손가락씩 찍는 것은, TV 리모콘으로 YouTube 검색어를 입력하는 고통을 그대로 재현합니다.

숫자로 보는 Input의 현실

2025년 CHI에서 발표된 XR TEXT Trove 연구(Bhatia et al., 2025)—버밍엄 대학, 코펜하겐 대학, Max Planck 연구소, Northwestern 대학, Google 등 공동 수행—는 176가지 XR 텍스트 입력 기술을 체계적으로 분석한 가장 큰 규모의 메타 연구입니다.

흥미로운 점은 XR 환경의 텍스트 입력 속도가 전반적으로 평균 20 WPM 정도에 머문다는 사실입니다. VR이나 MR을 막론하고, 가상 키보드·컨트롤러·핸드트래킹 기반 입력 모두 비슷한 범위 내에 있고, 가장 빠른 방식조차 전통적인 데스크톱 물리 키보드 (평균 40–60 WPM, 숙련자는 80 WPM 이상)에 비해 절반 이하 수준에 그칩니다.

즉, 아직까지도 XR 환경에서 전통적 물리 키보드를 능가하는 입력 방식은 없다고 볼 수 있습니다. 따라서 XR 기기들이 진정한 생산성 디바이스로 도약하기 위해서는, 복합적으로 작동하는 입력 기술 전체 스택의 재설계가 필요하다는 점이 더욱 분명해집니다.

전통적인 시도들: 왜 불충분한가

Hand Tracking의 근본적 한계

손으로 가상의 키보드를 치는 것은, 단순히 생각해보면 문제가 없어보입니다. 현실에서도 물리적인 키보드를 맨손으로 타건하기 때문이죠. 하지만 XR에서의 키보드는 물리적이지 않아서 문제입니다.

먼저, Midas Touch 문제라는 것이 있습니다. 의도와 상관 없이 손에 닿는 모든 것을 금으로 만드는 미다스 왕처럼, 사용자의 의도와 달리 오입력 또는 과입력이 발생하는 것을 의미하죠. 핸드 트래킹에서, 사람의 눈과 손이 끊임없이 움직이기 때문에 오입력이 늘어나는 것 또한 그 사례입니다. 즉, "보는 것"과 "선택하는 것"을 구분하기 위해 항상 별도의 확인 동작이 필요합니다.

Voice Input이 만능이 아닌 이유

이에, 최근 XR 하드웨어 기업들은 음성 입력을 주된 해결책으로 선택하고 있습니다. 음성 대화는 원시 시대부터 인류가 유지해 온 소통 방식이기도 하며, 특히 우리는 AI와의 UX도 음성 대화에 익숙해지고 있죠. 하지만 그만큼, 음성 입력은 다른 의미로 물리적인 한계가 명확합니다.

음성 입력은 편집이 어렵습니다. "세 번째 문장의 두 번째 단어를 삭제하고... 다섯 번째 문장의 네 번째 단어를…" 이렇게 지시하는 것은 직접 커서를 움직이는 것보다 인지 부하가 큽니다. 마지막으로 인간에게는 조용한 생각이 필요하기도 합니다. 특히 글쓰기는 생각을 정제하는 과정입니다. 하지만 음성은 내면의 사고를 즉시 외부로 발화하도록 강제하죠. 문어체로 발화할 수는 있겠지만… ‘그것은 어려운 일이노라.’

Input 패러다임의 재발명

이후로는 새로운 XR 인풋 방법론을 소개하고, 그를 뛰어넘는 또 다른 시각을 제시합니다. 그리고 그에 걸맞은 현재 사례들과, 더욱 깊은 인사이트가 있습니다.