Finden Sie das richtige KI-Modell für Ihr Spiel mit Unity und Hugging Face
Wir freuen uns, eine neue Integration mit Hugging Face und einige Produktaktualisierungen für Unity Sentis, unsere neuronale Engine zur Einbindung von KI-Modellen in Unity, bekannt zu geben. Mit Sentis wollen wir KI-Modelle zugänglicher machen, um Ihnen bei der Entwicklung von Spielfunktionen wie Objekterkennung, intelligenten NSCs, Grafikoptimierungen und mehr zu helfen.
Angesichts der Vielzahl der verfügbaren Modelle ist es jedoch oft schwierig zu wissen, welches Modell für Ihren Anwendungsfall geeignet ist, ob es zuverlässig ist und ob es gut mit Unity funktioniert. Aus diesem Grund haben wir uns mit Hugging Face zusammengetan, dem größten KI-Modell-Hub der Welt (470.000+ Modelle zum Zeitpunkt der Erstellung dieses Artikels), um validierte KI-Modelle für Unity Sentis anzubieten, die unser Team getestet hat, um sicherzustellen, dass sie sich nahtlos integrieren.
Wenn Sie sofort mit Unity Sentis beginnen möchten, lesen Sie unseren Blog-Überblick, die Dokumentation oder tauchen Sie in die Community ein.
Wir werden auch in Zukunft mit Hugging Face zusammenarbeiten, um hochwertige, validierte KI-Modelle für die Unity-Engine bereitzustellen. Diese Modelle sind für die einfache Implementierung in Unity mit dem Sentis-Framework optimiert und mit dem Tag "Unity Sentis" im Hugging Face Hub versehen. Wir stellen auch die entsprechende gebrauchsfertige C#-Datei zur Verfügung, um Inferenzen in Ihrem Spiel durchzuführen. Die Modelle werden in das .sentis-Format vorkonvertiert, um den ONNX-Konvertierungsschritt zu umgehen. Heute bieten wir 11 validierte Modelle an, die häufige Anwendungsfälle abdecken, nach denen die Community gefragt hat, wie Satzähnlichkeit, Sprache zu Text, Objekterkennung und mehr.
Um eine umfangreiche freie und quelloffene Sammlung von Modellen für alle Anwendungsfälle zu erstellen, möchten wir Sie ermutigen, persönliche Projekte, die Sie interessieren, unter Verwendung des Unity Sentis-Tags im Hugging Face Hub zu veröffentlichen.
Bitte wenden Sie sich an das Diskussionsforum, wenn Sie Hilfe beim Hinzufügen eines Modells benötigen oder den Link zu Ihren Hugging Face Uploads mit der Community teilen möchten.
Hugging Face funktioniert auch gut mit Unity, selbst wenn Ihr Anwendungsfall nicht dazu geeignet ist, KI-Modell-Inferenzen lokal mit Sentis auszuführen. Sie können das Hugging Face Unity API-Paket verwenden, um Ihr Modell auf der Hugging Face Inference API zu hosten, die eine kostenlose API für Rapid Prototyping ist, oder Sie können ihre Inference Endpoints verwenden, eine kostenpflichtige API für den Produktionseinsatz.
Unity Sentis ist seit 2023 in der offenen Beta-Phase, und das Team hat hart daran gearbeitet, einige Stabilitätsverbesserungen für Anfang dieses Jahres einzuführen. Die jüngste Version konzentriert sich auf die Behebung von Problemen, die von unserer Entwicklergemeinschaft identifiziert wurden. Wir sind sehr dankbar für das kontinuierliche Feedback, das uns hilft, das Paket zu verbessern.
Unity Sentis wird offiziell im Laufe dieses Jahres als Teil der Unity 6-Version veröffentlicht. Bis dahin wird Sentis in Unity 2023 ein Vorabversions-Paket bleiben, da wir laufend neue Funktionen und Fehlerbehebungen hinzufügen. Außerdem sind eine Reihe von interessanten Produktaktualisierungen geplant.
Ohne eine gute Visualisierung kann es schwierig sein, Ihr Modell zu implementieren und zu optimieren. Zu diesem Zweck planen wir die Entwicklung eines intuitiven Graph-Viewers für KI-Modelle, der eine native Visualisierung direkt im Unity-Editor ermöglicht. Außerdem können Sie so Modellknoten (Operationen) auf verschiedene Rechentypen (CPU vs. GPU) verteilen. Juhu, grafikbasierte visuelle Optimierung!
Die Leistung ist für Spieleentwickler immer ein Thema. Unser Plan ist die Integration mit Hardware-Beschleunigungsbibliotheken und neuralspezifischen Chipsätzen, auch bekannt als Neural Processing Units (NPUs), auf Plattformen wie Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API und anderen, um schnellere Inferenzen auf jedem Gerät zu erreichen. Noch besser: Wenn die Inferenz auf einer NPU ausgeführt wird, bedeutet dies, dass die Berechnungen von CPU/GPU entlastet werden, so dass mehr Budget für Ihre Spielanforderungen zur Verfügung steht.
Während viele KI-Modelle mit Sentis auf dem Gerät ausgeführt werden können, gibt es einige Fälle, in denen eine Cloud-Inferenz bevorzugt wird. So kann es sein, dass das Modell nur über einen gehosteten Dienst verfügbar ist, dass Sie die Serverautorität aufrechterhalten müssen oder dass Sie eine schnellere Leistung auf Low-End-Geräten benötigen.
Diese Fälle können gelöst werden, wenn Sie Standard-Unity-Webanfragen mit Ihrer API verwenden möchten, oder, wie bereits erwähnt, wenn Sie die Hugging Face-Infrastruktur nutzen, können Sie die Hugging Face Unity API verwenden. Für die Zukunft planen wir eine weitere Zusammenarbeit mit Hugging Face, um die Unity API an die Sentis API anzugleichen, damit die Eingaben und Ausgaben für lokale und Cloud-Inferenzen konsistent bleiben, so dass es einfacher ist, Prototypen für native und Cloud-Computing zu erstellen, ohne den C#-Code zu ändern.
Unity Sentis ist ab sofort für alle Unity-Entwickler, die mit Unity 2021.3 oder höher arbeiten, über den Package Manager kostenlos als Open Beta verfügbar. Wenn Sie bereits mit Sentis arbeiten und mit unserem Team zusammenarbeiten möchten, füllen Sie bitte dieses Formular aus.