Encuentra el modelo de IA adecuado para tu juego con Unity y Hugging Face

Estamos muy contentos de compartir una nueva integración con Hugging Face y algunas actualizaciones de producto para Unity Sentis, nuestro motor neural para traer modelos de IA a Unity. Con Sentis, pretendemos hacer más accesibles los modelos de IA para ayudarte a potenciar funciones del juego como el reconocimiento de objetos, los PNJ inteligentes, las optimizaciones gráficas y mucho más.

Sin embargo, dada la cantidad de modelos disponibles, a menudo es difícil saber cuál se ajusta a tu caso de uso, asegurarte de que es fiable y determinar si funciona bien con Unity. Por eso nos hemos integrado con Hugging Face, el mayor centro de modelos de IA del mundo (más de 470.000 modelos en el momento de escribir estas líneas), para ofrecer modelos de IA validados para Unity Sentis que nuestro equipo ha probado para garantizar que se integran a la perfección.

Si quieres empezar a utilizar Unity Sentis de inmediato, echa un vistazo a la descripción general de nuestro blog, la documentación o sumérgete en la comunidad.

En el futuro, seguiremos colaborando con Hugging Face para proporcionar modelos de IA validados y de alta calidad para su uso con el motor Unity. Estos modelos están optimizados para su fácil implementación en Unity con el framework Sentis, etiquetados con "Unity Sentis" en el hub Hugging Face. También compartimos el correspondiente archivo C# listo para usar para realizar la inferencia en su juego. Los modelos se preconvierten al formato .sentis para evitar el paso de conversión a ONNX. Hoy ofrecemos 11 modelos validados que cubren casos de uso comunes que la comunidad ha solicitado, como similitud de frases, conversión de voz en texto, detección de objetos, etc.

Con el fin de crear un amplio conjunto de modelos gratuitos y de código abierto para todos los casos de uso, te animamos a que publiques proyectos personales de interés en el Hugging Face Hub utilizando la etiqueta Unity Sentis.

Póngase en contacto con nosotros en el foro de debate si necesita ayuda para añadir un modelo o para compartir con la comunidad el enlace a sus subidas de Caras abrazadas.

Hugging Face también funciona bien con Unity, incluso si su caso de uso no es propicio para ejecutar inferencias de modelos de IA localmente con Sentis. Puedes utilizar el paquete de la API Unity de Hugging Face para alojar tu modelo en la API de inferencia de Hugging Face, que es una API gratuita para la creación rápida de prototipos, o puedes utilizar sus puntos finales de inferencia, una API de pago para uso en producción.

Unity Sentis entró en beta abierta como paquete de prelanzamiento en 2023, y el equipo ha estado trabajando duro para aportar algunas mejoras de estabilidad para principios de este año. La versión más reciente se centra en resolver los problemas identificados por nuestra comunidad de desarrolladores. Agradecemos de verdad los continuos comentarios de todos para mejorar el paquete.

Unity Sentis se lanzará oficialmente a finales de este año como parte de la versión Unity 6. Hasta entonces, Sentis seguirá siendo un paquete de versiones preliminares en Unity 2023 a medida que añadimos actualizaciones y correcciones de características constantes. También hay previstas varias actualizaciones de productos muy interesantes.

Implementar y optimizar un modelo sin una buena visualización puede ser todo un reto. Con este fin, planeamos crear un visor de gráficos intuitivo para modelos de IA que permita la visualización nativa directamente dentro del editor de Unity. Además, esto le dará la capacidad de enviar nodos modelo (operaciones) a diferentes tipos de computación (CPU vs GPU). Optimización visual basada en gráficos

El rendimiento es siempre una preocupación para los desarrolladores de juegos. Nuestro plan es integrarnos con bibliotecas de aceleración de hardware y conjuntos de chips específicos para neuronas, también conocidos como unidades de procesamiento neuronal (NPU), en plataformas como Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API, etc. para lograr una inferencia más rápida en todos los dispositivos. Y lo que es mejor, cuando la inferencia se ejecuta en una NPU, significa que el cálculo se descarga de la CPU/GPU para dejar más presupuesto para tus necesidades de juego.

Aunque muchos modelos de IA pueden ejecutarse en el dispositivo con Sentis, hay algunos casos en los que es preferible tener una inferencia en la nube. Por ejemplo, puede que el modelo sólo esté disponible a través de un servicio alojado, o que necesite mantener la autoridad del servidor, o que requiera un rendimiento más rápido en dispositivos de gama baja.

Estos casos pueden ser resueltos para si usted quiere usar peticiones web estándar de Unity con su API, o, como se mencionó anteriormente si usted está usando la infraestructura de Unity usted puede usar el API de Unity de Unity. En el futuro, tenemos previsto seguir trabajando con Hugging Face para alinear su API de Unity con la API de Sentis para mantener la coherencia entre las entradas y salidas de inferencia locales y en la nube, de modo que sea más fácil crear prototipos entre la computación nativa y en la nube sin modificar el código C#.

Unity Sentis ya está disponible de forma gratuita en beta abierta para todos los desarrolladores de Unity que operen con Unity 2021.3 o superior a través del Package Manager. Si ya trabaja con Sentis y desea colaborar con nuestro equipo, rellene este formulario.