Ethereal Matter: Соединение полного тела хаптики с VR-опытами

Индустриальный дизайнер Скотт Саммит разработал продукты для Apple, Silicon Graphics и Nike, преподавал дизайн в Стэнфорде, Сингулярности и Карнеги Меллон, и имеет 46 патентов, связанных с дизайном и технологиями. Он основал Эфирные Материалы, Инк, чтобы решить проблемы фитнеса и здоровья, предоставляемые новыми тенденциями VR и игр.

потенциал, меняющий мир для VR был убедительно продемонстрирован. Он переносит нас из нашей кожи в реальность по нашему выбору, как ни одна другая технология еще не показала. Эта способность сама по себе привела к высокому уровню принятия в военной и медицинской подготовке, особенно там, где эффективные альтернативные IRL симуляции оказываются дорогими или невозможными. Даже на потребительском уровне VR добился успеха в решении таких проблем, как страх высоты и публичные выступления.

Несмотря на богатые технологические эволюции, произошедшие с VR в последние годы, для многих это демонстрирует незавершенные дела. Потенциал ощутим, но сегодняшние предложения часто квалифицируются как солидный первый шаг. Рынок подтвердил это с анти-климактическими темпами принятия. VR еще не продемонстрировал всеобъемлющую актуальность в нашей повседневной жизни или не показал нам, как жизнь была бы неполной без него. Короче говоря, он обещает полное погружение с реальными результатами, но в основном предоставляет иллюзию глаз и ушей того, что мы надеялись вовлечь в наше целое.

Физический мир является двусторонним

Мир, по определению, является двусторонней тактильной средой. Это лучшая часть. Вы взаимодействуете, и он отвечает вам. Вы крутите педали велосипеда, он двигает вас вперед. Вы управляете и наклоняетесь, и он поворачивает по вашему приказу, в то время как пейзаж меняется вокруг вас. На воде вы находите «сладкое место» в своем парусе, наклоняетесь, и вы занимаетесь виндсерфингом.

В VR некоторые из увлекательных, простых тактильных приложений - стационарный велоспорт и гребля - добились успеха в том, чтобы показать тем, кто достаточно смел, чтобы туда пойти, как монотонность их стационарных аналогов может быть преобразована в волшебное побегательство, побуждая нас к более энергичному выходу. Их успех заключается в способности создавать медиа-насыщенный опыт из в противном случае анестезирующей деятельности. Потенциал твердо продемонстрирован, хотя и ограничен несколькими видами деятельности.

Текущие тактильные решения: Подход Hexapod

Тем не менее, индустрия в основном полагается на полное тактильное погружение, оставаясь при этом ‘Hexapod’. Когда это сочетается с визуальным или погружающим опытом, это механически синхронизирует движение с 6 степенями свободы (6DoF), которое подтверждает вашему внутреннему уху именно то, что ожидают ваши глаза и уши. Добавьте управляемый вентилятор, и полученные устройства варьируются от полностью погружающих тематических парковых аттракционов до военных танковых и вертолетных тренажеров.

Эта гармония между нашими сенсорными входами на самом деле уменьшает ‘симуляторную болезнь’, возникающую из-за диссонанса между чувствами, просто соединяя сенсорные точки. Но платформа Hexapod была разработана как многофункциональное, универсальное устройство управления движением, которое только недавно было адаптировано для VR, чтобы обмануть наше внутреннее ухо. Это оставляет остальную часть нашей физичности в основном отключенной.

Введите интерактивные платформы полного тела

MEK от Ethereal Matter является интерактивной платформой управления движением, которая вовлекает руки, ноги и баланс в интерактивные виртуальные опыты, так же как это было бы в реальном мире. Как и подход Hexapod, MEK сочетает то, что вы ожидаете почувствовать, с ощущением, которое вы физически испытываете. Самое важное, что MEK был изначально разработан для того, чтобы воспользоваться возможностями, предоставляемыми VR, погружая пользователя в богатый, воображаемый мир, создавая полное взаимодействие с объектами внутри него.

С этой целью он включает в себя:

- Два роботизированных манипулятора, которые активно охватывают диапазон движений человека.

- Активные платформы для ног, которые создают тактильные условия для ног.

- Упоры с карданным подвесом на моторизованных манипуляторах, позволяющие запястьям двигаться свободно и безопасно, в то время как датчики фиксируют малейшие действия пользователя.

- Сканирование захвата движения LiDAR пользователя, позволяющее более глубокую телепортацию в VR-сцену в качестве аватара от первого лица для повышения глубокой погруженности.

Как MEK достигает двунаправленной тактильной обратной связи

Двунаправленная тактильная обратная связь является результатом комбинации датчиков в конечных эффекторах (сборка упора с карданным подвесом) и кода, который сочетается с Unity, позволяя синергию между визуальным и физическим опытом.

Например, пользователь может схватить то, что виртуально выглядит как органы управления дросселем на Под-Рейсере в стиле Звездных Войн, и толкнуть их вперед для ускорения. Датчики фиксируют намерение вперед, управление движением направляет движение в заданный скользящий трек дросселя на виртуальном Спидере, и пользователь видит свои собственные руки аватара, управляющие моторами. Моторы вращаются в нужное положение, звук усиливается, они чувствуют вибрацию от запуска, и сцена вокруг них начинает двигаться. Они поворачивают, используя дифференциальное управление - толкая один дроссель больше, чем другой, как на тракторе - при этом наклоняясь в поворот ногами, которые ощущают легкий и реактивный «Спидер» под ними, напоминающий динамику движения водного мотоцикла в реальной жизни. Для пользователя конечный эффект - это совершенно естественный опыт в сюрреалистичной среде.

Спидер - это всего лишь один пример из почти бесконечного диапазона симуляций, развлечений и возможностей обучения. То, что здесь принимает форму, полностью зависит от дизайна игры на программном обеспечении Unity с поддержкой роботов. Совершенно новые виды спорта, взаимодействия, развлечения и активности - все прямо из воображения - теперь могут стать реальным опытом.

Работает на Unity: Суть погружающего взаимодействия

Под датчиками, моторами и VR находится ядро Unity. Он объединяет все входящие данные, смешивает их с игровым опытом и управляет контроллерами моторов. Unity интегрирует эти компоненты, при необходимости добавляя слой C++, и включает:

- Сбор данных с входящих датчиков

- Интеграция между данными датчиков и контроллерами движения

- Пакет Unity Physics, чтобы улучшить тактильную реалистичность

- Пользовательский интерфейс, позволяющий простое графическое взаимодействие с пользователем

- Огромное количество качественного контента из Unity Asset Store

- Пространственный звук для улучшения ощущения глубины и погружения

- Вывод VR, позволяющий платформе MEK работать с любыми гарнитурами

- Universal Render Pipeline для высококачественного рендеринга и фотореализма, усиливающего ощущение реалистичности

- Мультиплеерная функциональность для обучения, соревнований или социального взаимодействия.

- Интеграция аватара от первого лица

Встроенная физика позволяет точно контролировать все движения, убеждая мозг в том, что виртуальный объект имеет массу и инерцию, а также сопротивление, ветер, плавучесть или любой другой эффект, необходимый для реальности опыта. Стиль рендеринга может быть реалистичным для удовлетворения потребностей в обучении и симуляции или стилизованным, как манга, акварель, деревянная гравюра, фильм нуар или любой другой стиль, который способствует ощущению побега. А огромный Unity Asset Store предлагает безграничные качественные материалы, эффекты, окружения и аудио, чтобы создание нового контента было быстрым и богатым воображением. Это жизненно важно для MEK, так как постоянный поток новых миров способствует возвращению пользователей.

Открытие новых возможностей в различных отраслях

Фитнес и тренировка

Ethereal позволяет улучшить традиционные впечатления, включая обычно сидячие игры. Применяя двунаправленное управление движением, вы можете стать Томом Крузом, взбирающимся на Бурдж-Халифу, хлопать механическими крыльями, чтобы пролететь на своем паровом орнитоптере над Великой стеной Китая, или управлять военным кораблем в битве при Трафальгаре. Вы даже можете надеть аватар робота высотой 300 футов из «Тихоокеанского рубежа» и подраться со своим сокурсником из другого конца света, раздавив Токио под своими ногами.

Чистый эффект - это поистине захватывающее взаимодействие, одновременно более увлекательное, чем видеоигра, более погружающее, чем VR, и более привлекательное, чем спортзал. И с увеличенным сопротивлением эти движения действительно становятся легкой физической нагрузкой - жимы лежа и тяги, разведения, приседания, сгибания или почти все, что можно найти в хорошо оборудованном спортзале. Только вместо того, чтобы погружать вас в скуку, это усиливает ваше чувство побега и приключения, сочетая фитнес с играми, полностью основываясь на выборе пользователя для настроек тактильного сопротивления. Добавьте физику в игры, и киберспорт внезапно становится спортом, отдыхом и фитнесом с реальными результатами.

Поскольку механизмы охватывают человеческий диапазон движений, почти любое фитнес-мероприятие может быть воссоздано и преобразовано в игровые впечатления - или наоборот - адаптированные к конкретным демографическим группам. Обратная кинематика Unity определяет пропорции пользователя и самонастраивает сцену или активы, обеспечивая, чтобы все движения были биомеханически оптимальными и скорректированными по возрасту пользователя. Добавьте полный контроль над параметрами обратной связи по силе, и тонкие тактильные взаимодействия становятся искусством, способствующим магии общего опыта. Этот гигантский удар робота начинается с сопротивляющегося разгона, за которым следует полная сила тела, необходимая для завершения верхнего удара. Вы чувствуете дрожь удара, видите, как броня противника взрывается искрами и дымом, и слышите какофонию, когда ваш противник летит назад. Все тактильные сигналы в конечном итоге происходят из визуального, кинематического, аудиального и физически активированного кода Unity, что приводит к богатому погружающему опыту.

Физическая терапия

Многофункциональность мультиплеера Unity трансформирует платформу в полное решение для спорта, фитнеса и тренировок, позволяя группам соревноваться или сотрудничать независимо от физического местоположения. Это приводит к командным видам спорта с подлинной физической подготовкой и тренировками, в которых участвует все тело. Иммерсивные киберспортивные игры становятся социальным, физически требовательным, полным опытом для всего тела. Колледжи могут участвовать в международных, внутривузовских соревнованиях, независимо от их оборудования, местоположения, погоды, бюджета на поездки и доступного времени. С MEK и Unity звонок маме может превратиться в час катания на паддлборде по каналам Венеции.

С MEK и Unity физиотерапия (ФТ) превращается из скуки в удовольствие, увеличивая соблюдение режима и оптимизируя результаты. Здесь инверсные кинематические модели Unity - в сочетании с управляемым LiDAR сканированием - позволяют близко следить за движением, как будто рядом находится внимательный физиотерапевт. Виртуальные пути движения определяются конкретными векторами, масштабируемыми под пропорции пациента, и разработаны с точным сопротивлением для оптимизированных результатов. Слой геймификации решает наиболее распространенный недостаток ФТ: отсутствие соблюдения режима из-за его присущей монотонности. Вдруг гребля на волшебном ковре с друзьями по древнему Нилу становится лучшим способом исправить ваше плечевое зажатие.

Все это поддерживается сочетанием Unity и робототехники через программное управление платформами и двунаправленным движением.

Космическая подготовка и симуляция

В космосе, где неудача, как правило, не является вариантом, точная симуляция жизненно важна для успеха миссии. В настоящее время Ethereal создает среды, которые нацелены на рынок космической подготовки и симуляции, который представляет собой собственный набор тонких проблем, которые невозможно воспроизвести на Земле.

Конкретно, используя пакет физического движка Unity, MEK генерирует сложные движения и взаимодействия в фотореалистичной виртуальной среде, создавая высокоточную тренировочную среду на всех уровнях. Высококачественная стереоскопическая визуализация Unity имитирует интенсивный блеск и глубокие тени в космосе, воссоздавая точную орбитальную динамику Земли, Луны, Солнца и звезд, движущихся с высокой скоростью, казалось бы, вокруг обучающегося. Полученная среда знакомит астронавта-стажера с визуальным опытом космоса перед полетом, тем самым минимизируя общую когнитивную нагрузку на месте.

Физически Unity сочетает движение trainee-астронавта с естественным сопротивлением скафандра и с массой без гравитации, с которой они столкнутся, перемещая тяжелые объекты в реальной среде нулевой гравитации. Тот же код управления движением также позволяет астронавту перемещаться без веса по внешней стороне космической станции, перебирая руками, осторожно балансируя эксцентричную инерцию, возникающую от астронавта и скафандра весом 250 фунтов в движении.

Встроенная физика Unity позволяет точно моделировать движение астронавта, вращение и столкновения нескольких тел в нулевой гравитации. Простая и производительная реализация физики жестких тел и коллайдеров в Unity, а также тензоры инерции в основном позволяют моделировать движение EVA. Тензоры инерции позволяют MEK моделировать разницу в вращении между осевым и сагиттальным вращением в космосе. На более тонком уровне MEK использует ручное назначение центра масс для моделирования эксцентричной массы системы жизнеобеспечения сзади скафандра. Конкретно, код MEK использует 'добавить силу в позиции', чтобы избежать расчета результирующего момента, тем самым упрощая код движения.

Такая точность в иммерсивном обучении приводит к значительно улучшенной знакомости и мышечной памяти вокруг сложной динамики движения, с которой предстоит столкнуться в космосе, задолго до выхода на Землю.

Будущее иммерсивных технологий

MEK стремится расширить физическое измерение и глубину сенсорной иллюзии, инициированной современными VR-гарнитурами. Под воздействием интегрированных технологий Unity, MEK объединяет широкий спектр данных - ИИ, управление движением, слияние датчиков, игры - в уникальные и глубоко иммерсивные впечатления, варьирующиеся от фитнеса до социального взаимодействия и сложного обучения. В основе MEK Unity генерирует опыт, гармонизируя сенсорные входы и выходы, что приводит к магии глубокой иммерсии и истинному побегу в другой мир.