Unity と Hugging Face でゲームに合った AI モデルを見つけよう
今回、Hugging Face との新しい統合、そして Unity への AI モデル取り込み用のニューラルエンジン、Unity Sentis の製品アップデートを共有できることを嬉しく思います。当社の狙いは、Sentis によって AI モデルを使用するハードルを下げ、オブジェクト認識、スマート NPC、グラフィックス最適化などのゲーム内機能を強化することです。
しかし、利用できるモデルが多くあり、どのモデルがユースケースに合うのか、信頼性が高いのか、Unity との相性が良いのかを判断するのが難しい場合があります。そのため当社は、世界最大の AI モデルハブである（本記事の執筆時点で 47 万以上のモデルがある）、Hugging Face との統合を行い、当社チームによってシームレスに統合されていることがテストされた、Unity Sentis 用の検証済み AI モデルを提供しました。
当社は、今後も Hugging Face との提携を継続し、Unity エンジン用の高品質な検証済み AI モデルを提供していきます。これらのモデルは、Hugging Face ハブで「Unity Sentis」とタグ付けされており、Sentis フレームワークを使用して Unity に簡単に実装できるよう最適化されています。また、ゲーム内で推論を実行するための、これに対応してすぐに使える C# ファイルも共有しています。モデルは、ONNX 変換ステップを省略するために、.sentis フォーマットにあらかじめ変換されています。現在は、文の類似性、音声文字変換、オブジェクト検出など、コミュニティから要望のあった一般的なユースケースに対応する 11 種類の検証済みモデルが提供されています。
すべてのユースケースに対応する、フリーでオープンソースのモデルセットを構築するには、Unity Sentis タグを使用して Hugging Face Hub に対象の個人プロジェクトを投稿することをお勧めします。
モデルの追加に関するサポートが必要な場合や、Hugging Face にアップロードしたモデルをリンクでコミュニティと共有したい場合は、ディスカッションフォーラムからご連絡ください。
特定のユースケースが、Sentis で AI モデルの推論をローカルに実行するのに適していなくても、Unity との Hugging Face の相性は良好です。Hugging Face Unity API パッケージを使用して、Hugging Face Inference API（ラピッドプロトタイピング向けの無料 API）でモデルをホストすることができます。また、実運用向けの有料 API である Inference Endpoints を使用することも可能です。
Unity Sentis は 2023 年にプレリリースパッケージとしてオープンベータ段階に入り、今年初め、チームは安定性改善のために尽力しました。最新のリリースでは、開発者コミュニティによって特定された問題への対処に重点を置いています。パッケージの改良に向けた、皆さんからの継続的なフィードバックに心より感謝しています。
Unity Sentis は、Unity 6 リリースの一部として下半期に正式にローンチされる予定です。それまでは、Sentis は Unity 2023 のプレリリースパッケージとして、一貫した機能アップデートや修正が追加されていきます。また、多くの素晴らしい製品アップデートも予定されています。
優れたビジュアライゼーションなしにモデルの実装と最適化を行うことは難しいものです。そのため、当社は Unity エディター内で直接ネイティブなビジュアライゼーションを可能にする、直感的な AI モデル用グラフビューアーの作成を計画しています。さらに、異なるコンピュートタイプ（CPU と GPU）にモデルノード（オペレーション）をディスパッチする機能も提供されます。グラフベースのビジュアル最適化は嬉しいですね！
ゲーム開発者にとって、パフォーマンスは常に懸念事項です。当社は、Microsoft Direct ML、Apple Core ML/MPS Graph、Google NN API などのプラットフォームで、ハードウェアアクセラレーションライブラリや、ニューラルプロセッシングユニット（NPU）とも呼ばれるニューラル専用チップセットを統合し、あらゆるデバイスでより高速な推論を実現することを計画しています。さらに、推論が NPU 上で実行される場合、CPU/GPU から計算がオフロードされるため、ゲームニーズの予算に余裕が生まれます。
多くの AI モデルは Sentis を使ってデバイス上で実行できますが、クラウド推論の方が望ましい場合もあります。例えば、ホストされたサービスを介してのみモデルの利用が可能であったり、サーバーの権限を維持する必要があったり、ローエンドデバイスでより高速なパフォーマンスが必要であったりする場合です。
これらのケースは、標準的な Unity ウェブリクエストを API で使用することで解決できます。また、Hugging Face インフラストラクチャーを使用している場合は、前述のように Hugging Face Unity API を使用することができます。将来的には Hugging Face とさらに協力し、ローカルとクラウドの推論の入出力が一貫したものとなるよう、Unity API と Sentis API を整合させる予定です。こうすることで、C# コードを修正することなく、より容易にネイティブとクラウドコンピューティングでのプロトタイプ作成を行えるようになります。
Unity Sentis は現在、Unity 2021.3 以降を使用しているすべての Unity 開発者を対象に、Package Manager 経由でオープンベータ版として無料で提供されています。すでに Sentis を使用していて、当社チームとの連携を希望する場合は、こちらのフォームに記入してください。