Найдите подходящую модель ИИ для своей игры с помощью Unity и Hugging Face
Мы рады поделиться новой интеграцией с Hugging Face и некоторыми обновлениями продукта для Unity Sentis, нашего нейронного движка для создания моделей искусственного интеллекта в Unity. С помощью Sentis мы стремимся сделать модели искусственного интеллекта более доступными, чтобы помочь вам использовать такие игровые функции, как распознавание объектов, умные NPC, оптимизация графики и многое другое.
Однако, учитывая количество доступных моделей, часто бывает сложно понять, какая из них подходит для вашего случая, обеспечить ее надежность и определить, хорошо ли она работает с Unity. Именно поэтому мы объединились с Hugging Face, крупнейшим в мире хабом моделей ИИ (470 000+ моделей на момент написания статьи), чтобы предложить проверенные модели ИИ для Unity Sentis, которые наша команда протестировала, чтобы обеспечить их беспрепятственную интеграцию.
Если вы хотите начать работу с Unity Sentis прямо сейчас, ознакомьтесь с нашим обзором в блоге, документацией или погрузитесь в сообщество.
В дальнейшем мы продолжим сотрудничать с Hugging Face, чтобы предоставить высококачественные, проверенные модели ИИ для использования в движке Unity. Эти модели оптимизированы для легкого внедрения в Unity с помощью фреймворка Sentis и отмечены тегом "Unity Sentis" в хабе Hugging Face. Мы также делимся соответствующим готовым файлом C# для выполнения выводов в вашей игре. Модели предварительно конвертируются в формат .sentis, чтобы обойти этап преобразования ONNX. Сегодня мы предлагаем 11 проверенных моделей, которые охватывают такие распространенные варианты использования, как сходство предложений, преобразование речи в текст, обнаружение объектов и многое другое.
Чтобы создать обширный набор бесплатных моделей с открытым исходным кодом для всех случаев использования, мы призываем вас публиковать личные проекты, представляющие интерес для Hugging Face Hub, используя тег Unity Sentis.
Пожалуйста, обращайтесь на форум обсуждений за помощью в добавлении модели или поделитесь с сообществом ссылкой на свои загрузки Hugging Face.
Hugging Face также хорошо работает с Unity, даже если ваш сценарий использования не способствует локальному запуску выводов модели ИИ с помощью Sentis. Вы можете использовать пакет Hugging Face Unity API для размещения вашей модели на Hugging Face Inference API, который является бесплатным API для быстрого создания прототипов, или использовать их Inference Endpoints, платный API для производственного использования.
Unity Sentis вошла в открытую бета-версию в качестве предрелизного пакета в 2023 году, и команда усердно работала над улучшением стабильности в начале этого года. Последняя версия направлена на решение проблем, выявленных нашим сообществом разработчиков. Мы очень ценим постоянную обратную связь со всеми, чтобы улучшить пакет.
Unity Sentis официально выйдет в конце этого года в рамках релиза Unity 6. До тех пор Sentis будет оставаться предрелизным пакетом в Unity 2023, поскольку мы постоянно добавляем обновления и исправления. Также планируется ряд интересных обновлений продукта.
Реализовать и оптимизировать модель без хорошей визуализации может быть непросто. Для этого мы планируем создать интуитивно понятный просмотрщик графов для моделей ИИ, который позволит осуществлять визуализацию непосредственно в редакторе Unity. Кроме того, это даст вам возможность распределять узлы модели (операции) по разным типам вычислений (CPU и GPU). Ура, визуальная оптимизация на основе графов!
Производительность всегда волнует разработчиков игр. Мы планируем интегрироваться с библиотеками аппаратного ускорения и нейронными чипсетами, также известными как нейронные процессоры (NPU), на таких платформах, как Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API и других, чтобы добиться более быстрого вывода на каждом устройстве. Более того, когда выводы выполняются на NPU, это означает, что вычисления разгружаются от CPU/GPU, оставляя больше бюджета для ваших игровых нужд.
Хотя многие модели ИИ можно запускать на устройстве с помощью Sentis, в некоторых случаях предпочтительнее использовать облачные вычисления. Например, модель может быть доступна только через хостинг, или вам необходимо поддерживать авторитет сервера, или требуется более высокая производительность на устройствах низкого класса.
Эти случаи можно решить, если вы хотите использовать стандартные веб-запросы Unity с вашим API, или, как уже говорилось ранее, если вы используете инфраструктуру Hugging Face, вы можете использовать Hugging Face Unity API. В будущем мы планируем сотрудничать с Hugging Face, чтобы согласовать их Unity API с Sentis API, чтобы локальные и облачные входы и выходы выводов были согласованы, чтобы было проще прототипировать между нативными и облачными вычислениями без изменения кода на C#.
Unity Sentis теперь доступен бесплатно в открытой бета-версии для всех разработчиков Unity, работающих на Unity 2021.3 или выше, через менеджер пакетов. Если вы уже работаете с Sentis и хотите сотрудничать с нашей командой, заполните эту форму.