Контекст - это все: Междоменное отображение данных для дополненной реальности

ИИ переживает расцвет, хотя путь к его использованию в иммерсивном опыте еще только предстоит проложить. ИИ - это не решение всех проблем, но он обеспечивает недостающее звено, необходимое для создания дополненного опыта нового поколения.

Учитывая этот бум ИИ, я хотел бы поговорить о понятии "контекст" применительно к созданию дополненной реальности (AR). Контекст - это набор параметров, описывающих область, которые могут быть закодированы в обрабатываемые машиной данные. Доменом может быть буквально все, но в AR-пространстве существует три критических домена: физический, виртуальный и человеческий.

Физическая область - это мир, в котором мы живем. Контекст для конкретного местоположения может включать мировые координаты (то есть географическое положение), данные сканирования окружающей среды, положение объектов, погоду или изображения окрестностей - любые параметры реального мира, имеющие значение для поддержки генерации решения для конкретной потребности.

Виртуальный домен содержит любые данные, которые имеют полезную корреляцию с местоположением в реальном мире. Это широкое определение, но суть такова: Для создания впечатлений AR не нужны сложные 3D-активы или модели. В основу опыта могут быть положены любые метаданные о местоположении, например, данные о количестве осадков или местонахождении запасов в магазине.

Наконец, человеческий домен - это совокупность человеческих требований, выраженных в терминах, понятных машине. Это отправная точка для ИИ, где обработка естественного языка (NLP) и генеративные модели с предварительным обучением трансформаторов (GPT) играют ключевую роль в преобразовании человеческого контекста в машинный язык. Человеческая сфера также включает в себя способы передачи данных, генерируемых машиной.

Создание контекста домена - относительно простая задача. Сложность заключается в том, чтобы обеспечить удобство использования взаимосвязей между компонентами: физические и виртуальные системы координат должны совпадать, цифровые двойники должны соответствовать физическому миру, описания людей должны быть сопоставимы с обучаемым поведением и т. д.

Программное и аппаратное обеспечение, связанное с новыми технологиями, включая искусственный интеллект, робототехнику и Интернет вещей, стремительно развивается. Пока не разработаны стандарты (например, на интероперабельность) и лучшие практики, регулирующие их применение, эффективное использование и совместимость зависят от умелого проектирования сетевых компонентов. Но как только эта система будет разработана, вы получите обобщенную основу для создания дополненной реальности для любого применения, будь то промышленность, розничная торговля или общее повышение производительности.

Примером того, как ИИ позволяет осуществлять междоменное сопоставление, может служить человек, указывающий на объект вдалеке. Это физический контекст, который могут обеспечить многие технологии, но сам по себе жест не имеет внутреннего смысла и недостаточен для определения проблемы, требующей решения. Это может быть указание направления движения или запрос о предмете. Контекст, соотнесенный с формулировками типа "Как мне туда добраться?", теперь формирует полноценный запрос. Таким образом, ИИ может обрабатывать физические данные, руководствуясь контекстными данными человека, чтобы "понять" естественные взаимодействия, которые все мы ежедневно осуществляем, не задумываясь о них, и сгенерировать соответствующую реакцию. Эта прозрачность запроса/ответа повышает уровень всех форм AR-опыта, а конечная цель - сделать нашу жизнь проще.

Давайте рассмотрим несколько примеров того, как контекст может быть определен для различных приложений. Основная роль искусственного интеллекта заключается в работе с людьми: он обрабатывает запросы пользователей, предвосхищает их потребности, использует соответствующие данные и облегчает взаимодействие между людьми и устройствами.

Картина в номере: Пользователь хочет покрасить помещение и хотел бы узнать количество необходимых материалов. Специфика: У них есть устройство, которое может измерить пространство и подать голосовую команду о том, сколько краски необходимо.

• Физические: Лидарное сканирование физического пространства
• Виртуальный: Цифровой двойник пространства, созданный на лету на основе физического сканирования, включающего окна, двери и стены для точного определения площади поверхности стен
• Человек: Соотношение между площадью помещения и тем, какую площадь может покрыть банка краски

Фитнес-маршрут: Пользователь запрашивает пробег, отличающийся от обычного маршрута. Специфика: У пользователя есть гарнитура, которая определяет его местоположение, записывает предыдущие маршруты и проецирует визуальную информацию.

• Физические: Местоположение пользователя и записи предыдущих пробежек
• Виртуальный: Карты района с информацией о тропинках и тротуарах
• Человек: Понимание того, что представляет собой маршрут, позволяющее рассчитать новый маршрут

Оптимизация аэропорта: Ситуационная осведомленность и автоматизация для улучшения управления операциями. Пользователю нужны своевременные подсказки для безопасного ведения работ на аэродроме. Специфика: У пользователя на запястье есть носимое устройство, которое может определять его местоположение и подключаться к центральному операционному цифровому двойнику.

• Физические: Местоположение пользователей, самолетов, активов и объектов физического мира
• Виртуальный: Цифровой двойник аэропорта, позволяющий прогнозировать моделирование, навигацию, расположение точек интереса и обработку геопространственных данных
• Человек: Понимание миссии, задач и ключевых целей безопасности

Как видно из этих примеров, ценность 3D в реальном времени выходит далеко за рамки создания впечатляющих визуальных эффектов. Это основной механизм для обработки междоменных контекстов для создания пространственных решений проблем. Учитывая, что мы живем в 3D-мире, неудивительно, что 3D в реальном времени играет центральную роль.

Unity, как основной движок для работы с данными, пользуется огромной популярностью на игровом рынке, поэтому его применимость в неигровых приложениях часто упускается из виду. По мере технологического развития носимых устройств, устройств и моделей искусственного интеллекта, собирающих все больше и больше данных, будут определяться все более богатые контексты, что позволит создавать более точные решения. Unity станет основным инструментом сбора этих данных для создания впечатлений, которые сделают нашу жизнь лучше на работе и в игре.

Мы с нетерпением ждем, что создадут наши разработчики, и надеемся, что эта статья в блоге дала несколько идей о том, как структурировать ваш опыт нового поколения.

Чтобы узнать больше о том, как искусственный интеллект может способствовать созданию захватывающих впечатлений, ознакомьтесь с потенциалом цифровых двойников. И не забудьте подписаться на участие в программе Unity AI Beta Program.