XR의 미래는 ‘핸즈퍼스트’에 있다 — 그리고 Unity의 도구는 이미 준비되어 있다
공동 저자: 아이작 시아(수석 기술 제품 매니저), 알렉산드라 세랄타(선임 소프트웨어 엔지니어), 케트키 자다브(제품 디자이너), 데이브 러델(소프트웨어 엔지니어링 선임 매니저)
‘핸즈퍼스트’가 XR의 미래인 이유
핸드 트래킹은 수년 전부터 XR에서 지원되는 입력 방식이었지만, 대부분의 프로젝트에서는 여전히 이를 보조적인 기능으로 간주하며, 컨트롤러를 중심으로 핵심 경험을 구축한 후에 추가하는 경우가 많습니다. 점점 더 많은 경험의 영역에서, 그러한 우선순위는 더 이상 타당하지 않다. 제스처, 신체적 조작, 또는 물체와의 직접적인 상호작용을 중심으로 설계된 게임은 본질적으로 손을 통해 표현할 때 더 효과적입니다. 손을 사용하면 더 자연스럽고 직관적이며, 컨트롤러로는 결코 재현할 수 없는 경험을 선사하기 때문입니다.
지금까지 이를 구현하려면 두 가지 주요 기술적 과제를 해결해야 했습니다. 첫째, 신뢰할 수 있는 맞춤형 손 제스처를 구현하려면 상당한 양의 스크립트 작업이 필요했고, 둘째, 헤드셋이 물리적으로 가까이 있지 않으면 손 제스처 상호작용을 반복적으로 개선하기 어려웠습니다. Unity의 XR 패키지에 추가된 두 가지 기능이 이 두 가지 문제를 직접적으로 해결합니다. XR Hands 패키지의 XR 핸드 캡처 기능을 사용하면 기기에서 실제 손의 포즈를 캡처하여 Unity로 가져와 재사용 가능한 제스처 에셋으로 활용할 수 있습니다. XR Interaction (XRI) Toolkit의 XR Interaction Simulator에 추가된 ‘Hands Simulation’은 Unity 에디터에서 손 트래킹 기능을 완벽하게 지원하므로, 헤드셋 없이도 반복적인 개발 작업을 수행할 수 있습니다.
이 글에서는 두 기능의 작동 방식, 사용 시점, 그리고 기존 프로젝트에 통합하는 방법을 다룹니다.
XR Hands 캡처
XR Hands 패키지는 XRHandSubsystem을 통해 프레임별 관절 데이터를 제공합니다. 해당 데이터를 기반으로 제스처를 구축한다는 것은, 일련의 관절 각도와 손가락 모양 조건을 정의하여, 이 조건들이 동시에 충족될 때 인식된 자세를 구성하도록 하는 것을 의미합니다. 핀치나 탭과 같은 간단한 제스처의 경우, 이 패키지에는 바로 사용할 수 있는 구현체가 포함되어 있습니다. 사용자 정의 설정이 필요한 경우, 기존 방식에서는 손가락마다 모양을 개별적으로 설정해야 했기 때문에 모든 과정을 기기 내에서 반복해야 했습니다.
그 수동 방식은 기초적인 방법이었지만, 현재 XR Hands Capture를 통해 구현 가능한 방식에 비하면 속도가 느리고 신뢰성도 떨어졌습니다. 시그니처 포즈, 3D 오브젝트 조작, 정밀한 UI 제어와 같은 게임플레이 메커니즘에 필수적인 정밀한 제스처 재현은, 손가락 모양을 하나하나 수동으로 정의해야 했던 시절에는 달성하기 어려웠습니다. 이러한 근사적 접근 방식은 결과적으로 처리 속도가 느리고, 다양한 손 모양에 따라 불안정하며, 진정으로 매력적인 ‘손 중심’ 경험에 필수적인 자연스럽고 직관적인 느낌을 제대로 전달하지 못하는 해결책을 낳았습니다.
작동 방식
XR Hands Capture는 사용자가 기기에서 포즈를 취할 때 XRHandSubsystem에서 생성된 실제 관절 데이터를 기록한 다음, 해당 기록 데이터를 바탕으로 XRHandShape 에셋을 생성함으로써 이 문제를 해결합니다. 대략적인 추측이 아닌 실제 데이터를 바탕으로 제스처를 설계하고 있으므로, 그 결과로 만들어진 상호작용은 손의 크기와 움직임의 차이에 관계없이 더 안정적으로 작동하며, 의도한 대로 자연스럽게 느껴집니다.
작업 흐름:
- 패키지 관리자에서 XR Hands 패키지의 HandCapture 샘플을 가져옵니다.
- OpenXR 기기에서 샘플 장면을 배포하고 실행하세요.
- 촬영하고 싶은 포즈를 취하세요. 이 장면은 XRHandSubsystem에서 실시간 공동 데이터를 XRHandCaptureSequence에 기록합니다.
- XR 핸드 캡처 인스펙터 창(Window > XR > XR Hand Capture)을 사용하여 녹화 파일을 Unity 에디터로 가져옵니다.
- XRHandShape 애셋을 추출합니다. 이 애셋은 손의 자세를 직렬화한 형태로, 모든 StaticHandGesture 컴포넌트나 사용자 정의 감지 로직에서 참조할 수 있습니다.
- 필요한 경우 공차를 조정하고, 정밀도를 높이기 위해 다시 측정하십시오.
XRHandCaptureSequence와 XRHandShape는 모두 실제 캡처 데이터에서 생성되었기 때문에, 제작한 제스처 라이브러리는 손의 실제 움직임을 반영하게 되어 플레이어가 이를 사용할 때 상호작용이 자연스럽게 느껴집니다. 이는 비개발자도 제스처 제작에 참여할 수 있음을 의미합니다. 디자이너나 애니메이터는 코드를 건드리지 않고도 기기에서 직접 포즈를 기록하고 수정할 수 있으며, 이를 통해 인터랙션의 사용감을 가장 중요하게 여기는 디자이너와 애니메이터가 그 과정에 직접 참여하여 인터랙션을 직접 다듬을 수 있습니다.
XR 인터랙션 시뮬레이터에서의 손 동작 시뮬레이션
XR Interaction Toolkit에 포함된 XR Interaction Simulator를 사용하면 개발자가 물리적 기기 없이도 Unity 에디터 내에서 XR 경험을 실행할 수 있습니다. 이는 테스트 주기마다 헤드셋을 착용해야 하는 번거로움이 큰 초기 단계의 반복 작업에 유용합니다. 최근까지 이 기능은 컨트롤러 입력만 지원했습니다. 손 추적 기술을 기반으로 한 프로젝트에는 이에 상응하는 대안이 없었기 때문에, 손 기반 상호작용 개발은 근본적으로 헤드셋에 의존할 수밖에 없었다. 이제 톡톡 치기, 핀치, 잡기 같은 기본 내장 손 제스처 외에도 시뮬레이터에서 직접 사용자 지정 제스처를 테스트해 볼 수 있는데, 이는 Unity의 XR 도구 외에는 어디에서도 찾아볼 수 없는 기능입니다.
시작 방법
시작하려면 Unity 최신 버전(6.3 이상)을 다운로드한 다음, Unity 패키지 관리자를 통해 해당 기능을 추가하세요.
- XR Hands Capture는 XR Hands 패키지(1.7 이상)의 일부로 제공됩니다. 최신 버전을 설치하거나 업데이트한 후 `HandCapture` 샘플을 가져와 시작할 수 있습니다. 전체 문서와 API 참조 자료는 XR Hands 문서에서 확인할 수 있습니다.
- ‘Hands Simulation’ 기능은 XR Interaction Toolkit 패키지(3.5 이상) 및 XR Hands(1.8 이상)의 일부로 XR Interaction Simulator에서 사용할 수 있습니다. 최신 버전을 설치하거나 업데이트한 후 XRI Starter Assets 샘플을 가져오세요. 설정 방법에 대한 자세한 내용은 XRI 문서를 참조하십시오.
더 폭넓은 출발점을 원하신다면, ‘XR Interaction Toolkit Examples’에는 일반적인 핸즈퍼스트(hands-first) 상호작용 패턴을 다루는 참조 장면들이 포함되어 있습니다. 특히 XR Hands 캡처에 대한 커뮤니티 자료를 찾고 계신다면, Dilmer Valecillos가 제작한 핸드 캡처 데모 프로젝트를 한 번 살펴보시는 것도 좋습니다. 개발자들이 Unity XR로 어떤 프로젝트를 만들고 있는지 궁금하신가요? 한번 보세요.
다음은 무엇일까요?
현재 진행 중인 작업은 두 패키지 모두에 걸쳐 있습니다. XR Hands의 주요 개발 분야로는 OpenXR 사양에 부합하는 포즈 데이터, 손바닥 포즈 확장 기능 지원, 핀치, 퍽, 조준 및 기기 포즈에 걸친 입력 동작 매핑, 그리고 퍽 상호작용의 개선 등이 있습니다. 또한, 손 데이터가 맨손 카메라 추적에서 비롯된 것인지 아니면 컨트롤러 기반 추정치에서 비롯된 것인지 여부를 제공하는 OpenXR 확장 기능에 대한 지원도 확대하고 있습니다. 이는 플레이어의 물리적 상호작용 방식에 따라 게임 메커니즘을 조정하고자 하는 게임에 유용합니다. XRI에서는 실물 기기 기반 사용 사례가 늘어남에 따라, 기기 내 테스트를 대체할 수 있는 신뢰할 수 있는 수단으로서 XR 인터랙션 시뮬레이터에 대한 투자를 지속하고 있습니다.
7월 9일 오후 12시(미국 동부 시간)에 진행되는 라이브 스트리밍에 참여해 주세요. 메타(Meta)의 특별 게스트와 함께 XR 핸드 캡처 및 XRI 시뮬레이터의 실제 작동 모습을 확인하고, 실시간 질의응답 시간을 가지며 향후 계획에 대해 알아보실 수 있습니다.