Trouvez le bon modèle d'IA pour votre jeu avec Unity et Hugging Face
Nous sommes ravis de partager une nouvelle intégration avec Hugging Face et quelques mises à jour de produits pour Unity Sentis, notre moteur neuronal pour apporter des modèles d'IA dans Unity. Avec Sentis, nous visons à rendre les modèles d'IA plus accessibles pour vous aider à développer des fonctionnalités dans le jeu telles que la reconnaissance d'objets, les PNJ intelligents, les optimisations graphiques, et bien plus encore.
Cependant, compte tenu du grand nombre de modèles disponibles, il est souvent difficile de savoir lequel correspond à votre cas d'utilisation, de s'assurer de sa fiabilité et de déterminer s'il fonctionne bien avec Unity. C'est pourquoi nous nous sommes intégrés à Hugging Face, le plus grand hub de modèles d'IA au monde (470 000+ modèles à l'heure où nous écrivons ces lignes), afin de proposer des modèles d'IA validés pour Unity Sentis que notre équipe a testés pour s'assurer qu'ils s'intègrent de manière transparente.
Si vous souhaitez commencer à utiliser Unity Sentis tout de suite, consultez notre aperçu du blog, notre documentation ou plongez dans la communauté.
À l'avenir, nous continuerons à collaborer avec Hugging Face pour fournir des modèles d'IA validés et de haute qualité à utiliser avec le moteur Unity. Ces modèles sont optimisés pour être facilement implémentés dans Unity avec le framework Sentis, étiquetés avec "Unity Sentis" dans le hub Hugging Face. Nous partageons également le fichier C# correspondant, prêt à l'emploi, pour effectuer l'inférence dans votre jeu. Les modèles sont préconvertis au format .sentis pour éviter l'étape de conversion ONNX. Aujourd'hui, nous proposons 11 modèles validés qui couvrent les cas d'utilisation courants demandés par la communauté, tels que la similarité des phrases, la conversion de la parole en texte, la détection d'objets, etc.
Afin de construire un vaste ensemble de modèles libres et gratuits pour tous les cas d'utilisation, nous vous encourageons à poster des projets personnels d ' intérêt au Hugging Face Hub en utilisant le tag Unity Sentis.
N'hésitez pas à contacter le forum de discussion pour obtenir de l'aide sur l'ajout d'un modèle ou pour partager avec la communauté le lien vers vos téléchargements de Hugging Face.
Hugging Face fonctionne également bien avec Unity, même si votre cas d'utilisation n'est pas propice à l'exécution d'inférences de modèles d'IA localement avec Sentis. Vous pouvez utiliser le package Unity API de Hugging Face pour héberger votre modèle sur Hugging Face Inference API, qui est une API gratuite pour le prototypage rapide, ou vous pouvez utiliser leurs Inference Endpoints, une API payante pour une utilisation en production.
Unity Sentis est entré en bêta ouverte sous forme de préversion en 2023, et l'équipe a travaillé dur pour apporter quelques améliorations de stabilité pour le début de cette année. La version la plus récente est axée sur la résolution des problèmes identifiés par notre communauté de développeurs. Nous apprécions vraiment le retour d'information continu de chacun afin d'améliorer le paquet.
Unity Sentis sera officiellement lancé plus tard cette année dans le cadre de la version 6 d'Unity. D'ici là, Sentis restera un paquetage de préversion dans Unity 2023, car nous ajoutons des mises à jour de fonctionnalités et des correctifs cohérents. Un certain nombre de mises à jour de produits très intéressantes sont également prévues.
Il peut être difficile de mettre en œuvre et d'optimiser votre modèle sans une bonne visualisation. À cette fin, nous prévoyons de créer un visualiseur de graphique intuitif pour les modèles d'IA qui permet une visualisation native directement à l'intérieur de l'éditeur Unity. En outre, cela vous permettra de répartir les nœuds du modèle (opérations) entre différents types de calcul (CPU ou GPU). L'optimisation visuelle basée sur les graphes !
Les performances sont toujours une préoccupation pour les développeurs de jeux. Nous prévoyons d'intégrer des bibliothèques d'accélération matérielle et des puces neuronales spécifiques, également appelées unités de traitement neuronal (NPU), sur des plateformes telles que Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API, et bien d'autres, afin d'obtenir une inférence plus rapide sur tous les appareils. De plus, lorsque l'inférence est exécutée sur une NPU, le calcul est déchargé du CPU/GPU, ce qui laisse plus de budget pour les besoins de votre jeu.
Bien que de nombreux modèles d'IA puissent être exécutés sur l'appareil avec Sentis, il y a des cas où il est préférable d'avoir une inférence dans le nuage. Par exemple, le modèle peut n'être disponible que par le biais d'un service hébergé, ou vous devez maintenir l'autorité du serveur, ou encore vous avez besoin de performances plus rapides sur des appareils bas de gamme.
Ces cas peuvent être résolus si vous souhaitez utiliser des requêtes web Unity standard avec votre API, ou, comme mentionné précédemment si vous utilisez l'infrastructure Hugging Face, vous pouvez utiliser l'API Unity Hugging Face. À l'avenir, nous prévoyons de collaborer davantage avec Unity Face pour aligner leur API Unity sur l'API Sentis afin que les entrées et sorties de l'inférence locale et du cloud soient cohérentes, de sorte qu'il soit plus facile de prototyper entre l'informatique native et le cloud computing sans modifier votre code C#.
Unity Sentis est désormais disponible gratuitement en bêta ouverte pour tous les développeurs Unity fonctionnant sur Unity 2021.3 ou supérieur via le gestionnaire de paquets. Si vous travaillez déjà avec Sentis et souhaitez collaborer avec notre équipe, veuillez remplir ce formulaire.