Будущее XR прежде всего на руках — и инструменты Unity готовы

Соавторы: Айзек Си (главный менеджер по техническим продуктам), Александра Серралта (старший инженер по программному обеспечению), Кетки Джадхав (штатный дизайнер продуктов) и Дэйв Радделл (старший менеджер по программному обеспечению)

Почему Hands-First - это будущее XR

Отслеживание рук уже несколько лет является поддерживаемым типом ввода в XR, но большинство проектов до сих пор относятся к нему как к вторичному, добавленному после того, как основной опыт был накоплен вокруг контроллеров. Для растущего опыта этот приоритет уже не имеет смысла. Игры, построенные вокруг жестов, физических манипуляций или прямого взаимодействия объектов, изначально лучше выражены через руки: более естественные, более интуитивно понятные и невозможно воспроизвести с помощью контроллера.

Попадание туда исторически означало преодоление двух ключевых инструментальных проблем: построение надежных пользовательских жестов рукой требовало значительной работы над сценарием, а итерация на взаимодействие рукой была затруднена без гарнитуры физически рядом. Два дополнения в пакетах Unity XR касаются непосредственно обоих этих направлений. XR Hand Capture в пакете XR Hands позволяет записывать реальные позы рук on-device и импортировать их в Unity как активы многоразовых жестов. Hands Simulation, добавленный в симулятор взаимодействия XR в наборе инструментов XR Interaction (XRI), приносит редактору Unity полный опыт разработки отслеживания раздач, чтобы вы могли итерировать без гарнитуры.

В этом посте рассказывается о том, как работают обе функции, когда их использовать и как интегрировать их в существующий проект.

XR Hands Capture

Пакет XR Hands раскрывает совместные данные на кадр через подсистему XRHandSubsystem. Построение жеста поверх этих данных означает определение набора условий угла наклона сустава и формы пальца, которые при одновременном удовлетворении составляют признанную позу. Для простых жестов, таких как щипать и тыкать, пакет поставляется с готовыми к использованию реализациями. Для всего пользовательского, предыдущий подход требовал конфигурации пер-пальцевой формы, и это означало итерацию полностью на устройстве.

Хотя этот ручной процесс был фундаментальным, он был медленным и менее надежным по сравнению с тем, что сейчас возможно с XR Hands Capture. Точной верности жестов, что критически важно для механики игрового процесса вроде сигнатурных поз, манипуляций с 3D-объектами или тонкого пользовательского управления, было трудно достичь, когда вы вручную определяли каждую форму пальца вручную. Эти приближения привели к решениям, которые были медленными в производстве, более хрупкими в различных формах рук и не имели естественного, интуитивного чувства, необходимого для поистине убедительных впечатлений от первых рук.

Как это работает

XR Hands Capture решает эту проблему, записывая фактические совместные данные, производимые XRHandSubsystem во время выполнения позирования на устройстве, затем генерируя актив XRHandShape на основе этой записи. Вы пишете жесты из наземной истины, а не из приближения, что означает, что полученное взаимодействие лучше держится на размерах рук и вариациях движений, и чувствует то, что они должны чувствовать.

Рабочий процесс:

• Импортировать образец HandCapture из пакета XR Hands в диспетчере пакетов.
• Разверните и откройте пример сцены на устройстве OpenXR.
• Выполняйте позу, которую хотите запечатлеть. Сцена записывает совместные данные XRHandSubsystem в XRHandCaptureSequence.
• Импорт записи в редактор Unity с помощью окна инспектора захвата рук XR (Window > XR > XR захвата рук).
• Извлечь актив XRHandShape — сериальное изображение позы руки, на которое может ссылаться любой компонент StaticHandGesture или пользовательская логика обнаружения.
• При необходимости скорректировать допуски и перезаписать для уточнения.

Поскольку и XRHandCaptureSequence, и XRHandShape генерируются на основе реальных данных захвата, созданная вами библиотека жестов отражает то, как на самом деле двигаются руки, что делает эти взаимодействия естественными, когда игрок использует их. Это также означает, что неинженеры могут участвовать в написании жестов: дизайнер или мультипликатор может записывать и итерировать позы прямо на устройстве, не прикасаясь к коду, что позволяет дизайнерам и мультипликаторам — людям, которые больше всего заботятся о том, что чувствует взаимодействие — принимать непосредственное участие в его формировании.

Моделирование рук в симуляторе взаимодействия XR

Симулятор взаимодействия XR в XR Interaction Toolkit позволяет разработчикам запускать опыт XR внутри редактора Unity без физического устройства, полезного для итерации на ранней стадии, когда надевание гарнитуры каждый цикл тестирования добавляет значительные накладные расходы. До недавнего времени он поддерживал только ввод контроллера. Проекты, построенные на основе ручного слежения, не имели аналогов, то есть развитие ручного взаимодействия в принципе зависело от гарнитуры. Теперь наряду со стандартными встроенными жестами рук вроде тыка, щипания и захвата можно протестировать и собственные пользовательские жесты прямо в симуляторе, кроме инструментов Unity XR такой функции вы больше нигде не найдете.

Как начать

Загрузите последнюю версию Unity (6.3 или более новую), затем добавьте эти возможности через Unity Package Manager.

• XR Hands Capture ships в составе пакета XR Hands (1.7 и более новых). Вы можете установить или обновить до последней версии и импортировать образец 'HandCapture', чтобы начать работу. Полная документация и ссылка на API доступны в документах XR Hands.
• Hands Simulation доступна в симуляторе взаимодействия XR в составе пакета XR Interaction Toolkit (3.5 и новее) и XR Hands (1.8 и новее). Установите или обновите последнюю версию и импортируйте образец стартовых активов XRI. Подробности настройки см. в документах XRI.

Для более широкой отправной точки XR Interaction Toolkit Примеры включают в себя исходные сцены, охватывающие общие схемы взаимодействия «рука-первая». Если вы ищете ссылку на сообщество конкретно для XR Hands Capture, Dilmer Valecillos подготовил демо проект Hands Capture, который стоит проверить. Любопытно, что строят разработчики с Unity XR? Посмотри.

Что дальше

Текущая работа охватывает оба пакета. В XR Hands активные области включают соответствие данных поз спецификации OpenXR, поддержку расширений Palm Pose, сопоставление действий ввода по позам щипков, тычков, прицелов и устройств, а также уточнения взаимодействия тычков. Мы также расширяем поддержку расширений OpenXR, которые выявляют, исходят ли данные о раздаче от отслеживания камеры голой рукой или оценки, управляемой контроллером, актуально для игр, которые хотят адаптировать механику, основанную на том, как игрок физически взаимодействует. В XRI мы продолжаем инвестировать в симулятор взаимодействия XR как надежный прокси для тестирования на устройстве по мере роста числа случаев использования "рук в руки".

Присоединяйтесь к нам для прямого эфира 9 июля в 12:00 мск со специальным гостем из Meta, чтобы увидеть XR Hand Capture и XRI Simulator в действии, с живыми вопросами и ответами и посмотреть, что будет дальше.