Encontre o modelo de IA certo para seu jogo com Unity e Hugging Face

Temos o prazer de compartilhar uma nova integração com o Hugging Face e algumas atualizações de produtos para o Unity Sentis, nosso mecanismo neural para trazer modelos de IA para o Unity. Com o Sentis, nosso objetivo é tornar os modelos de IA mais acessíveis para ajudá-lo a potencializar os recursos do jogo, como reconhecimento de objetos, NPCs inteligentes, otimizações gráficas e muito mais.

No entanto, dada a quantidade de modelos disponíveis, muitas vezes é difícil saber qual deles se adapta ao seu caso de uso, garantir que seja confiável e determinar se funciona bem com o Unity. É por isso que nos integramos à Hugging Face, o maior hub de modelos de IA do mundo (mais de 470.000 modelos no momento da redação deste artigo), para oferecer modelos de IA validados para o Unity Sentis que nossa equipe testou para garantir que eles se integrem perfeitamente.

Se quiser começar a usar o Unity Sentis imediatamente, confira a visão geral do nosso blog, a documentação ou mergulhe na comunidade.

No futuro, continuaremos colaborando com a Hugging Face para fornecer modelos de IA validados e de alta qualidade para uso com o Unity Engine. Esses modelos são otimizados para fácil implementação no Unity com a estrutura Sentis, marcados com "Unity Sentis" no hub Hugging Face. Também compartilhamos o arquivo C# pronto para uso correspondente para realizar a inferência em seu jogo. Os modelos são pré-convertidos para o formato .sentis para contornar a etapa de conversão do ONNX. Hoje, estamos oferecendo 11 modelos validados que abrangem casos de uso comuns solicitados pela comunidade, como similaridade de frases, conversão de fala em texto, detecção de objetos e muito mais.

Para criar um conjunto expansivo de modelos gratuitos e de código aberto em todos os casos de uso, incentivamos você a publicar projetos pessoais de interesse no Hugging Face Hub usando a tag Unity Sentis.

Entre em contato no fórum de discussões para obter ajuda para adicionar um modelo ou para compartilhar o link de seus uploads do Hugging Face com a comunidade.

O Hugging Face também funciona bem com o Unity, mesmo que seu caso de uso não seja propício para executar inferências de modelos de IA localmente com o Sentis. Você pode usar o pacote Hugging Face Unity API para hospedar seu modelo na Hugging Face Inference API, que é uma API gratuita para prototipagem rápida, ou pode usar seus Inference Endpoints, uma API paga para uso em produção.

O Unity Sentis entrou em beta aberto como um pacote de pré-lançamento em 2023, e a equipe tem trabalhado arduamente para trazer algumas melhorias de estabilidade para o início deste ano. A versão mais recente se concentra em resolver problemas identificados por nossa comunidade de desenvolvedores. Agradecemos muito o feedback contínuo de todos para aprimorar o pacote.

O Unity Sentis será lançado oficialmente no final deste ano como parte do lançamento do Unity 6. Até lá, o Sentis continuará sendo um pacote de pré-lançamento no Unity 2023 à medida que adicionamos atualizações e correções consistentes de recursos. Há também uma série de atualizações de produtos planejadas.

Pode ser um desafio implementar e otimizar seu modelo sem uma boa visualização. Para isso, planejamos criar um visualizador de gráficos intuitivo para modelos de IA que permita a visualização nativa diretamente no Unity Editor. Além disso, isso lhe dará a capacidade de despachar nós de modelo (operações) para diferentes tipos de computação (CPU vs. GPU). Viva a otimização visual baseada em gráficos!

O desempenho é sempre uma preocupação para os desenvolvedores de jogos. Nosso plano é fazer a integração com bibliotecas de aceleração de hardware e chipsets específicos de neural, também conhecidos como unidades de processamento neural (NPUs), em plataformas como Microsoft Direct ML, Apple Core ML/MPS Graph, Google NN API e outras para obter inferência mais rápida em todos os dispositivos. E o que é melhor, quando a inferência é executada em uma NPU, isso significa que o cálculo é transferido da CPU/GPU para deixar mais orçamento para as necessidades do seu jogo.

Embora muitos modelos de IA possam ser executados no dispositivo com o Sentis, há alguns casos em que é preferível ter uma inferência na nuvem. Por exemplo, o modelo pode estar disponível somente por meio de um serviço hospedado, ou você precisa manter a autoridade do servidor, ou precisa de um desempenho mais rápido em dispositivos de baixo custo.

Esses casos podem ser resolvidos se você quiser usar solicitações da Web padrão da Unity com sua API ou, como mencionado anteriormente, se estiver usando a infraestrutura da Hugging Face, poderá usar a API da Hugging Face Unity. No futuro, planejamos trabalhar com a Hugging Face para alinhar ainda mais a Unity API com a Sentis API para manter consistentes as entradas e saídas de inferência local e na nuvem, de modo que seja mais fácil criar protótipos entre computação nativa e na nuvem sem modificar seu código C#.

O Unity Sentis agora está disponível gratuitamente em versão beta aberta para todos os desenvolvedores do Unity que operam no Unity 2021.3 ou superior por meio do Package Manager. Se você já trabalha com a Sentis e deseja colaborar com nossa equipe, preencha este formulário.