Ethereal Matter: VR 경험과 전신 햅틱 연결하기

산업 디자이너 스콧 서밋는 애플, 실리콘 그래픽스 및 나이키를 위해 제품을 디자인하고, 스탠포드, 싱귤래리티 및 카네기 멜론에서 디자인을 가르쳤으며, 디자인 + 기술과 관련된 46개의 특허를 보유하고 있습니다. 그는 에테리얼 매터, Inc를 설립하여 새로운 VR 및 게임 트렌드가 제공하는 피트니스 및 건강 기회를 다루었습니다.

VR의 세상을 변화시키는 잠재력은 확실히 입증되었습니다. 이 기술은 우리를 우리의 선택에 따라 다른 현실로 데려다 줍니다. 다른 어떤 기술도 아직 보여주지 못한 방식입니다. 이 능력만으로도 군사 및 의료 훈련에서 높은 채택률을 이끌어냈습니다. 특히 효과적인 대안 IRL 시뮬레이션이 비용이 많이 들거나 불가능한 경우에 그렇습니다. 소비자 수준에서도 VR은 고소공포증 및 대중 연설과 같은 문제를 해결하는 데 성공을 거두었습니다.

최근 몇 년간 VR 뒤에 있는 풍부한 기술 발전에도 불구하고, 많은 사람들에게는 미완성된 사업을 보여줍니다. 잠재력은 뚜렷하지만, 오늘날의 제품은 종종 확고한 첫 걸음으로 분류됩니다. 시장은 이로 인해 실망스러운 채택률을 확인했습니다. VR은 우리의 일상 생활에서 전반적인 관련성을 아직 입증하지 못했으며, 그것 없이는 삶이 어떻게 부족할지를 보여주지 못했습니다. 간단히 말해, 그것은 현실 세계의 결과와 함께 완전한 몰입을 약속하지만, 대부분은 우리가 전체적으로 참여할 것이라고 희망했던 것의 눈과 귀의 환상을 제공합니다.

물리적 세계는 양방향입니다

세상은 정의상 양방향 촉각 환경입니다. 그게 가장 좋은 부분입니다. 당신이 상호작용하면, 그것도 다시 상호작용합니다. 당신이 자전거를 페달링하면, 그것이 당신을 앞으로 이동시킵니다. 당신이 조종하고 기울이면, 그것이 당신의 명령에 따라 회전하고, 주변 경치가 바뀝니다. 물 위에서는, 당신이 세일에서 ‘스위트 스팟’을 찾아 기울이면, 당신은 윈드서핑을 하고 있습니다.

VR에서는 일부 매력적이고 손쉬운 촉각 응용 프로그램인 고정 자전거 타기와 노젓기가, 그곳에 가기를 두려워하지 않는 사람들에게 그들의 고정된 동료들이 지루함을 어떻게 마법 같은 탈출로 변형할 수 있는지를 보여주는 데 성공했습니다. 더 많은 에너지를 발산하도록 유도합니다. 그들의 성공은 다른 한편으로는 무감각한 활동에서 미디어가 풍부한 경험을 생성하는 능력에 있다. 잠재력은 확실히 입증되었지만, 몇 가지 활동에 한정되어 있다.

현재의 햅틱 솔루션: 헥사포드 접근법

그러나 대부분의 경우, 전체 신체 햅틱 몰입을 위한 산업의 표준은 여전히 ‘헥사포드’이다. 시각적 또는 몰입형 경험과 결합될 때, 이는 6자유도(6DoF) 움직임을 기계적으로 동기화하여 귀 내부가 눈과 귀가 기대하는 것과 정확히 일치하도록 한다. 제어 가능한 팬을 추가하면, 결과적으로 생성된 장치는 완전 몰입형 테마파크 경험에서 군대의 탱크 및 헬리콥터 훈련기까지 다양하다.

우리의 감각 입력 간의 조화는 실제로 감각 간의 불협화음으로 인한 ‘시뮬레이션 병’을 줄여주며, 단순히 감각의 점을 연결함으로써 이루어진다. 하지만 헥사포드 플랫폼은 다목적, 범용 모션 제어 장치로 설계되었으며, 최근에 VR을 위해 서비스에 끼워 넣어 우리의 내이(內耳)를 속이기 위해 사용되었다. 그것은 우리의 신체 대부분을 주로 분리된 상태로 남겨둔다.

전체 신체 인터랙티브 플랫폼에 들어가세요

에테리얼 매터의 MEK는 팔, 다리 및 균형을 인터랙티브 가상 경험에 참여시키는 인터랙티브 모션 제어 플랫폼으로, 실제 세계에서와 같이 작동한다. 헥사포드 접근법과 마찬가지로, MEK는 당신이 느끼기를 기대하는 것과 실제로 경험하는 감각을 결합한다. 가장 중요한 것은, MEK가 VR에 의해 가능해진 기회를 포용하도록 근본적으로 설계되었으며, 사용자를 풍부하고 상상력이 풍부한 세계에 삽입하여 그 안의 객체와의 전체 신체 상호작용을 생성한다는 것이다.

이를 위해 다음을 포함합니다:

- 두 개의 로봇 팔이 인간의 운동 범위를 능동적으로 커버합니다.

- 능동 발 플랫폼이 다리를 위한 촉각 조건을 생성합니다.

- 짐벌 그립이 모터화된 팔에 장착되어 있어 손목이 자유롭고 안전하게 움직일 수 있으며, 센서가 가장 미세한 유저 입력을 감지합니다.

- LiDAR 모션 캡처 스캐닝을 통해 유저의 VR 장면으로의 텔레포테이션을 더욱 풍부하게 하여 1인칭 아바타로 깊은 몰입을 향상시킵니다.

MEK가 양방향 촉각을 달성하는 방법

양방향 촉각은 최종 효과기(짐벌 그립 조립체)의 센서와 Unity와 결합된 코드의 조합에서 발생하여 시각적 경험과 물리적 경험 간의 시너지를 허용합니다.

예를 들어, 유저는 스타워즈 스타일의 포드 레이서에서 스로틀 컨트롤처럼 보이는 것을 잡고 앞으로 밀어 가속할 수 있습니다. 센서는 전진 의도를 감지하고, 모션 제어는 가상 스피더의 지정된 슬라이딩 스로틀 트랙으로 모션을 안내하며, 유저는 자신의 아바타 손이 모터를 조작하는 것을 봅니다. 모터가 위치로 회전하고, 소리가 증가하며, 시작에서 진동을 느끼고, 주변 장면이 움직이기 시작합니다. 그들은 차별적 조향을 사용하여 - 한 스로틀을 다른 것보다 더 밀어내며, 트랙터처럼 - 다리로 회전하면서, 그 아래에 떠 있고 반응하는 '스피더'를 느낍니다. 이는 제트스키의 실제 운동 역학을 닮았습니다. 유저에게는 그물 효과가 초현실적인 환경에서 완전히 자연스러운 경험입니다.

스피더는 거의 무한한 시뮬레이션, 재창조 및 훈련 기회의 한 예일 뿐입니다. 여기서 형성되는 것은 로봇 지원 Unity 소프트웨어의 게임 디자인에 의해 완전히 주도됩니다. 완전히 새로운 스포츠, 상호작용, 재창조 및 활동 - 모두 상상에서 직접 - 이제 실제 경험이 될 수 있습니다.

유니티로 구동됨: 몰입형 상호작용의 핵심

센서, 모터 및 VR 아래에는 유니티 핵심이 있습니다. 모든 수신 데이터를 연결하고, 게임 경험과 혼합하며, 모터 컨트롤러를 구동합니다. 유니티는 이러한 요소를 통합하며, 필요에 따라 C++ 레이어를 포함합니다.

- 수신 센서 데이터 수집

- 센서 데이터와 모션 컨트롤러 간의 통합

- 촉각 현실감을 향상시키기 위한 유니티 물리 패키지

- 간단한 그래픽 사용자 상호작용을 허용하는 사용자 인터페이스

- 유니티 자산 스토어에서 제공되는 방대한 고품질 콘텐츠

- 깊이와 몰입감을 향상시키기 위한 공간 오디오

- MEK의 헤드셋 비종속 플랫폼을 가능하게 하는 VR 출력

- 고품질 렌더링과 포토리얼리즘을 위한 유니버설 렌더 파이프라인, 현실감 향상

- 훈련, 경쟁 또는 사회적 상호작용을 위한 멀티플레이어 기능.

- 1인칭 아바타 통합

내장된 물리는 모든 움직임에 대한 정밀한 제어를 가능하게 하여, 가상 개체가 질량과 관성을 가지며 저항, 바람, 부력 또는 경험을 구체화하는 데 필요한 기타 효과를 가지고 있다고 뇌를 설득합니다. 렌더링 스타일은 훈련 및 시뮬레이션 요구를 충족하기 위해 현실적일 수 있으며, 만화, 수채화, 목판화, 필름 누아르 또는 탈출감을 주는 다른 어떤 스타일로도 표현될 수 있습니다. 그리고 방대한 유니티 자산 스토어는 새로운 콘텐츠 제작을 신속하고 풍부하게 상상할 수 있도록 무한한 품질의 자료, 효과, 환경 및 오디오를 제공합니다. 이는 MEK에 필수적이며, 새로운 세계의 지속적인 흐름이 재참여를 유도합니다.

산업 전반에 걸쳐 새로운 가능성을 여는 것

피트니스 및 훈련

Ethereal은 일반적으로 앉아서 하는 게임을 포함한 전통적인 경험을 향상시킬 수 있습니다. 양방향 모션 제어를 적용하면, 당신은 톰 크루즈가 부르즈 칼리파를 오르거나, 스팀펑크 오르니토프터로 중국 만리장성을 날아다니거나, 트라팔가 전투에서 전함을 조종하는 것이 될 수 있습니다. 300피트의 태평양 림 로봇 아바타를 착용하고, 전 세계에서 대학 룸메이트와 복싱을 하며, 발 아래에서 도쿄를 부수는 것도 가능합니다.

그 결과는 비디오 게임보다 더 매력적이고, VR 단독보다 더 몰입감 있으며, 체육관보다 더 초대하는 진정한 매력적인 참여입니다. 저항이 높아지면, 이러한 동작은 실제 피트니스가 되며 - 벤치 프레스와 로우, 플라이, 스쿼트, 컬, 또는 잘 갖춰진 체육관에서 찾을 수 있는 거의 모든 것과 같습니다. 지루함에 빠지게 하는 대신, 이것은 당신의 탈출감과 모험감을 증폭시키며, 피트니스와 게임을 혼합하여 전적으로 사용자의 촉각 저항 설정 선택에 기반합니다. 게임에 신체성을 추가하면, e스포츠는 갑자기 스포츠, 레크리에이션 및 피트니스가 되어, 실제 결과를 가져옵니다.

팔 구조물이 인간의 운동 범위를 커버하므로, 거의 모든 피트니스 활동을 재현하고 게임 경험으로 변형할 수 있으며 - 또는 그 반대도 가능합니다 - 특정 인구 통계에 맞게 조정됩니다. 유니티의 역운동학은 사용자의 비율을 결정하고 장면이나 자산을 자가 스케일링하여 모든 동작이 생체역학적으로 최적화되고 사용자의 나이에 맞게 조정되도록 합니다. 힘 피드백 매개변수에 대한 완전한 제어를 추가하면, 미세한 촉각 상호작용이 예술이 되어 전체 경험의 마법에 기여합니다. 그 거대한 로봇 주먹은 저항적인 준비 동작으로 시작하여, 상단 컷을 완성하는 데 필요한 전신의 힘이 뒤따릅니다. 충격의 떨림을 느끼고, 상대의 갑옷이 불꽃과 연기로 폭발하는 것을 보고, 적이 뒤로 날아가는 소음을 듣습니다. 모든 촉각 신호는 궁극적으로 유니티의 시각적, 운동학적, 청각적 및 물리적 코드에서 파생되어 풍부한 몰입 경험을 제공합니다.

물리 치료

유니티의 멀티플레이어 기능은 플랫폼을 완전한 스포츠, 피트니스 및 훈련 솔루션으로 변형하여, 물리적 위치에 관계없이 집단이 경쟁하거나 협력할 수 있도록 합니다. 이로 인해 진정한 피트니스가 있는 팀 스포츠와, 전체 신체가 활동에 참여하는 훈련이 이루어집니다. 몰입형 e스포츠는 사회적이고 신체적으로 요구되는 전신 경험이 됩니다. 대학들은 장비, 위치, 날씨, 여행 예산 및 사용 가능한 시간에 관계없이 국제 및 교내 경쟁에 참여할 수 있습니다. MEK와 Unity를 사용하면 엄마와의 통화가 베니스의 운하에서 패들보드를 타는 한 시간이 될 수 있습니다.

MEK와 Unity를 사용하면 물리 치료(PT)가 지루함에서 즐거움으로 변모하여 순응도를 높이고 결과를 최적화합니다. 여기서 Unity의 역운동학 모델은 LiDAR 기반의 온보드 스캐닝과 결합되어 마치 경계하는 물리 치료사가 있는 것처럼 밀접한 동작 모니터링을 가능하게 합니다. 가상 운동 경로는 특정 벡터에 의해 정의되며, 환자의 비율에 맞게 조정되고 최적의 결과를 위해 정확한 저항으로 설계됩니다. 게임화의 한 층은 PT의 가장 일반적인 단점을 해결합니다: 고유한 단조로움으로 인한 순응 부족. 갑자기, 친구들과 함께 고대 나일강에서 마법의 카펫을 타는 것이 어깨 충돌을 고치는 가장 좋은 방법이 됩니다.

이 모든 것은 Unity와 로봇 공학의 결합에 의해 구동되며, 플랫폼의 소프트웨어 제어 팔과 양방향 운동을 통해 이루어집니다.

우주 훈련 및 시뮬레이션

우주에서는 실패가 결코 선택 사항이 아닌 곳에서, 정확한 시뮬레이션이 임무 성공에 필수적입니다. 현재, Ethereal은 우주 훈련 및 시뮬레이션 시장을 목표로 하는 환경을 생성하고 있으며, 이는 지구에서 복제할 수 없는 미세한 도전 과제를 제시합니다.

특히, Unity의 물리 엔진 패키지를 사용하여 MEK는 포토리얼리스틱한 가상 환경에서 복잡한 동작과 상호작용을 생성하여 모든 수준에서 매우 정확한 훈련 환경을 제공합니다. Unity의 고품질 스테레오 렌더링은 우주에서의 강렬한 눈부심과 깊은 그림자를 시뮬레이션하며, 지구, 달, 태양 및 별의 정확한 궤도 역학을 재현하여 고속으로 훈련생 주위에서 이동합니다. 결과적인 환경은 우주 비행사 훈련생이 비행 전에 우주의 시각적 경험에 익숙해지도록 하여 전체 인지 부담을 최소화합니다 in situ.

물리적으로, Unity는 우주 비행사 훈련생의 동작을 우주복의 고유 저항과 결합하며, 실제 제로 중력 환경에서 무거운 물체를 이동할 때 마주하게 될 중력 없는 질량과 결합합니다. 같은 모션 제어 코드는 우주 비행사가 손으로 손을 넘겨가며 우주 정거장의 외부를 무중력 상태에서 이동할 수 있도록 해주며, 250파운드의 우주복이 움직일 때 발생하는 비정상적인 관성을 조심스럽게 균형을 잡습니다.

Unity의 내장 물리 엔진은 제로 G에서 우주 비행사의 움직임, 회전 및 다중 물체 충돌을 정확하게 시뮬레이션할 수 있게 해줍니다. Unity의 간단하고 성능이 뛰어난 강체 물리 및 충돌체 구현, 그리고 관성 텐서는 EVA 움직임 모델링을 근본적으로 가능하게 합니다. 관성 텐서는 특히 MEK가 우주에서 축 회전과 시상 회전 간의 회전 차이를 시뮬레이션할 수 있게 해줍니다. 그리고 더 세밀한 수준에서, MEK는 우주복의 뒤쪽에 무게가 실린 생명 유지 시스템의 비정상적인 질량을 시뮬레이션하기 위해 수동 질량 중심 할당을 사용합니다. 특히, MEK의 코드는 결과 토크를 계산하지 않기 위해 '위치에서 힘 추가'를 사용하여 움직임 코드를 단순화합니다.

이러한 몰입 훈련의 충실도는 지구를 떠나기 훨씬 전에 우주에서 마주칠 복잡한 운동 역학에 대한 친숙함과 근육 기억을 크게 향상시킵니다.

몰입형 기술의 미래

MEK는 오늘날의 VR 헤드셋이 시작한 감각적 환상의 물리적 차원과 깊이를 확장할 것입니다. Unity의 통합 기술에 의해 추진되는 MEK는 AI, 모션 제어, 센서 융합, 게임 등 다양한 데이터를 독특하고 깊이 있는 몰입 경험으로 통합하여 피트니스, 사회적 참여, 복잡한 훈련에 이르기까지 다양한 경험을 제공합니다. MEK의 핵심에서 Unity는 감각 입력과 출력을 조화롭게 하여 깊은 몰입의 마법과 다른 세계로의 진정한 탈출을 생성합니다.