Melhores práticas para desenvolver XR para aplicações industriais

Resumo executivo

Nas últimas décadas, os desenvolvedores trouxeram a indústria para o reino digital. Eles criaram plataformas online onde as pessoas podem comprar ou vender qualquer coisa. Eles criaram bibliotecas abertas ensinando desde CAD 3D até fundição de minério raw. Eles produziram ferramentas de rede para colaborar em otimizações de design e geometria 3D, e muito mais. Como resultado, especialistas do setor podem compartilhar e aprender qualquer coisa com apenas alguns cliques. Mas, para fazer isso, eles ainda precisam se conectar a esse reino digital.

Isso levou à próxima etapa da transformação digital da indústria. Em vez de conectar o reino físico da indústria ao digital, os desenvolvedores pretendem misturá-los. Em essência, o reino digital está agora chegando diretamente ao chão de fábrica através da realidade virtual (VR), realidade aumentada (AR) e realidade mista (MR) — coletivamente referidas como realidade estendida (XR). Aplicações atuais da indústria dessas tecnologias incluem:

• Treinamento em VR em linhas de produção digital para reduzir os riscos às pessoas, produtos e propriedades.
• Manutenção assistida por AR, permitindo que as pessoas na linha vejam como os designers pretendem que um problema seja resolvido.
• Lojas habilitadas para MR onde os clientes fazem um tour virtual ou experimentam produtos antes de comprar.
• As aplicações industriais de tecnologias XR ainda estão em sua infância. Então, os desenvolvedores da indústria podem questionar quais aplicativos estão disponíveis.

No entanto, a recente adição de XR à indústria fez com que os desenvolvedores fizessem outra pergunta: Quais são as melhores práticas para produzir essas experiências? Isso será discutido aqui.

Este e-book foi encomendado pela engineering.com.

O que é XR e como isso mudará a indústria?

Embora a maioria dos desenvolvedores saiba instintivamente a diferença entre as tecnologias XR, é melhor defini-las aqui para estabelecer uma base:

• A realidade virtual (VR) é uma experiência completamente digital; as únicas conexões com o mundo real são a entrada do usuário e os dispositivos de exibição.
• A realidade aumentada (AR) é uma mistura suave entre o mundo físico e o reino virtual; ativos digitais, informações e dados são sobrepostos aos ativos do mundo real.
• A realidade mista (MR) mistura completamente o reino digital e o mundo físico; ativos digitais interagem com ativos do mundo real e vice-versa.
• A realidade estendida (XR) abrange tudo o que foi mencionado acima.

“Eu definiria amplamente [XR] como a criação de experiências imersivas que borram a linha entre as realidades físicas e digitais”, concorda Seth Glaze, gerente sênior de produto técnico na equipe da indústria na Unity. “Isso inclui especificamente VR, ou realidade virtual, AR, realidade aumentada e então realidade mista.”

Um exemplo industrial de VR pode envolver uma reunião ou oficina digital. Aqui, funcionários de todo o mundo interagem simultaneamente com uma paisagem digital e Digital Twins de ativos do mundo real. Na realidade, cada funcionário está usando um headset de VR e um dispositivo de entrada para interagir com o ambiente virtual e Digital Twins. Mas dentro do reino digital, os funcionários poderiam escalar os gêmeos para qualquer tamanho (para inspecionar ou testar os menores detalhes) ou simular o desempenho de um produto em qualquer ambiente.

Outra boa aplicação de VR é "treinamento imersivo [já que] muitas vezes é a única maneira de treinar em escala", diz Jerome Maurey-Delaunay, arquiteto de soluções sênior da equipe da indústria na Unity. “Você não pode levar [estagiários] para uma planta de fabricação de qualquer jeito. [VR] pode dar acesso [à instalação] a [esses] funcionários ... acostumando as pessoas aos perigos [e melhores práticas].”

O exemplo de manutenção mencionado anteriormente, no entanto, é um bom descritor de RA. Imagine que um engenheiro de manutenção está usando um capacete com um acessório semelhante ao Google Lens. A tela pode notificá-los de que uma máquina na linha de produção precisa de manutenção, direcioná-los para onde a máquina está localizada, mostrar a parte da máquina que está quebrada e, em seguida, sobrepor um vídeo explicando como consertar essa parte.

A realidade mista leva o conceito de realidade aumentada (AR) um passo adiante e, ao fazê-lo, muitas vezes a combina com elementos de VR. Imagine o exemplo de manutenção de AR acima. Somente agora, o engenheiro de manutenção está trabalhando de casa com dispositivos de entrada VR e um fone de ouvido. Do ponto de vista do engenheiro, eles estão atravessando uma paisagem digital composta pelo gêmeo digital da linha de produção. Enquanto isso, na linha de produção física, um robô controlado por aquele engenheiro está consertando fisicamente uma máquina.

Desafios na criação de experiências industriais de XR

Com os termos XR totalmente definidos e seu potencial para aplicações industriais claro, os desenvolvedores naturalmente começarão a se perguntar sobre os desafios que enfrentarão ao criar essas experiências imersivas. Jonathan de Belle, gerente de desenvolvimento de software na equipe da indústria na Unity, explica que sua equipe é frequentemente chamada para ajudar os clientes a adaptar seus dados e designs para aplicações XR. Como resultado, ele conhece os desafios comuns de XR que os desenvolvedores enfrentam.

Ele explica que o primeiro desafio tende a ser que os modelos 3D do cliente são grandes demais para serem facilmente integrados em uma experiência digital. De Belle diz que sua equipe frequentemente trabalha com "modelos muito grandes e muito detalhados... A contagem de peças é enorme e cada uma dessas peças é altamente detalhada porque [estamos trabalhando com] dados de fabricação. Isto não é dado tradicional de videogame.

Um desafio relacionado, mas diferente, vem do grande volume de metadados relacionados a modelos 3D e outros ativos digitais. Exemplos desses dados não geométricos podem incluir as propriedades do material de um ativo. Em uma experiência XR, esses valores podem ser extraídos e adicionados à exibição digital. Embora a resistência ao yield de um ativo não seja uma grande quantidade de dados, é provável que seja extraída de dados de propriedades de materiais que abrangem toda a instalação — o que pode ser uma grande quantidade de dados.

"Você também tem os dados não visuais", concorda de Belle. Você quer que esses dados sejam acessíveis dentro do aplicativo em muitos casos. E obter essas informações relevantes também é um desafio porque há muitas delas.”

Este volume de dados traz outro desafio: Compatibilidade de hardware XR. Não há como saber qual dispositivo um usuário pode ter ao acessar uma experiência XR na prática. Assim, essa vasta quantidade de dados deve ser transferível e compatível com inúmeros dispositivos de software e hardware, incluindo CPUs, GPUs e headsets legados.

Por extensão, isso também significa que os desenvolvedores enfrentam o desafio de preparar suas aplicações XR para o futuro. Como muitos dispositivos móveis, como telefones, tendem a ter uma renovação anual entre modelos, é igualmente importante garantir que a experiência XR funcione tanto em dispositivos futuros quanto em dispositivos legados.

Outro desafio que os designers enfrentam ao construir modelos de XR para aplicações industriais é que eles normalmente precisam de acesso a Digital Twins, dados proprietários e informações trancadas em vários silos de dados da empresa. Este problema é exacerbado ao lidar com dados em tempo real. Como é importante que o reino digital espelhe o físico, o Version Control de ativos 3D e várias outras fontes de dados é fundamental.

Melhores práticas ao criar experiências XR

Embora as experiências de XR sejam diferentes, a Unity mostrou que muitos dos desafios enfrentados pelos desenvolvedores permanecem os mesmos. Como resultado, a empresa desenvolveu melhores práticas para enfrentar muitos desses desafios.

Pergunte a si mesmo: "O que essa experiência XR resolve?"

Glaze observa que a primeira e muitas vezes mais importante prática recomendada ao criar aplicações XR é entender e definir o caso de uso e os benefícios no início do desenvolvimento. Adicionar XR aos fluxos de trabalho industriais não deve ser sobre aderir à última tendência tecnológica. Por exemplo, não há benefício em trazer todas as reuniões para um ambiente XR quando uma chamada de vídeo pode ser suficiente. Não há necessidade de forçar experiências imersivas aos usuários, a menos que resolva um problema tangível.

Ao definir primeiro o caso de uso e o benefício de um aplicativo XR, os desenvolvedores podem usar essas informações para controlar seu escopo, orçamento e tempo de desenvolvimento. Também os ajuda a limitar muitos dos desafios mencionados anteriormente. Depois que a experiência inicial de XR for concluída, os desenvolvedores podem procurar expandir seu escopo ou construir outra.

As melhores experiências de XR são adaptadas ao problema a ser resolvido

Uma vez que os desenvolvedores entendem o problema que sua experiência XR está resolvendo, eles podem adaptá-la melhor a essa necessidade. Por exemplo, se o aplicativo for suposto a:

• Ajude os clientes a experimentar os produtos, então o melhor showroom é o 'quintal' dos clientes.
• Treine os trabalhadores de manutenção, então a sala de treinamento definitiva é o seu próprio equipamento.
• Teste designs de produtos, então o campo de testes definitivo é o ambiente natural do seu produto.

Por exemplo, Glaze faz referência a um desenvolvedor australiano que se concentra em experiências de treinamento imersivas em VR para aplicações industriais. Uma dessas experiências envolveu o treinamento de trabalhadores para consertar plataformas de petróleo offshore. O equipamento funciona 24 horas por dia, 7 dias por semana e custa milhões de dólares para parar. Enquanto isso, simular cenários de emergência nesses ativos pode ser perigoso. Portanto, é difícil treinar os trabalhadores no equipamento no mundo real.

Para resolver esse problema, o desenvolvedor criou Digital Twins personalizados de equipamentos do mundo real e os adicionou em aplicações XR. Durante o treinamento, os funcionários agora usam esta ferramenta para praticar a resolução de problemas potenciais que podem surgir na realidade.

O desenvolvedor descobriu que não é suficiente para essas simulações de XR modelarem qualquer plataforma de petróleo; é necessário modelar a plataforma de petróleo em que o funcionário está trabalhando. Caso contrário, eles podem tropeçar durante um momento crucial ao tentar traduzir seu conhecimento de treinamento para a configuração atual do equipamento.

Use os modelos que você tem

A indústria está repleta de dados, modelos e geometria 3D que podem ser utilizados em aplicações XR. Glaze usou um exemplo de uma empresa desenvolvendo passeios e atrações para um parque temático. Modelos CAD 3D desses passeios e atrações já existem. Assim, eles podem ser usados para acelerar o desenvolvimento de aplicações XR.

Parques temáticos são locais procurados, mas nem todos têm os meios ou a capacidade de visitá-los. Isso pode ser considerado receita perdida para o parque e oportunidade perdida para potenciais visitantes. Em vez disso, o parque poderia criar experiências imersivas usando seus modelos 3D para alcançar esses fãs. Agora mais pessoas podem acessar essas atrações, de longe, independentemente de sua localização física ou condição. Enquanto isso, o parque cria uma nova fonte de receita, melhorando o ROI dessas atrações.

“Você pode aproveitar esses ativos muitas vezes novamente”, diz Glaze. Eles estão desativados nesse ponto de vista de segurança. Você não vai incluir todo o seu modelo CAD. Mas você pode reutilizar esses [modelos sem recursos] para impulsionar sua equipe de vendas. ... Essas [experiências] podem ser coisas como ... experimentações virtuais, ou você está fazendo um tour pelas instalações que você criou usando esses [modelos]."

Limpe e simplifique seus dados para trabalhar em tempo real 3D

Grande parte dos desenvolvedores da indústria de dados 3D internos tem acesso a arquivos no formato CAD. Isso faz sentido, pois as ferramentas CAD são projetadas para fluxos de trabalho industriais, como design de produtos, desenvolvimento e fabricação. Esses fluxos de trabalho exigem mais informações do que o necessário, ou compatível, com ambientes XR. Mas, como as melhores práticas anteriores afirmam, esses dados CAD devem ser utilizados. De Belle e Maurey-Delaunay explicam que essa contradição alimenta outra prática recomendada de desenvolvimento de XR: otimizar e simplificar os dados.

"Dissocie seu aplicativo dos seus dados, externalize os dados", diz Maurey-Delaunay. Isso é realmente importante porque o próximo hardware que será lançado, você pode precisar retrabalhar os dados para se adequar aos requisitos de hardware dessa plataforma. Se seus dados estiverem incorporados ao seu aplicativo, isso vai criar um monte de trabalho para reabrir o projeto para ingerir os dados.”

A primeira maneira de fazer isso é criar sistemas de carregamento de nível de detalhe hierárquico (ou LODing), onde as características de um objeto 3D são variáveis. Essencialmente, quando o usuário vê um objeto de longe, é um contorno simples do modelo 3D — mesmo que esse objeto seja feito de milhares de partes. À medida que os usuários se aproximam, mais detalhes são desenhados e mais modelos são adicionados à experiência. Eventualmente, dados suficientes são trazidos para a realidade digital para que os usuários possam ampliar partes individuais. De Belle refere-se a isso como um método de streaming de polígonos para geometria 3D.

Ele também explica que as ferramentas podem ser usadas para extrair dados de modelos CAD para que possam ser usados em um ambiente mais 'gamificado'. Isso tem um benefício adicional de proteger a propriedade intelectual (PI). Essas ferramentas podem variar o quanto de um modelo 3D é abstraído com base no caso de uso de XR.

“Isso remete à primeira [melhor prática]”, diz de Belle. Pergunte a si mesmo: 'o que você está tentando fazer com esses dados e, em seguida, quais partes dos dados eu posso desfigurar. Isso vai remover problemas de segurança, {reduzindo} vazamentos de dados, mas, por outro lado, vai reduzir o peso total dos dados e torná-los muito mais fáceis de processar {para} realmente transformá-los em uma experiência em tempo real.”

Preparado para o futuro com novos equipamentos XR, fontes de dados e integrações

Para otimizar o ROI de uma experiência XR, os desenvolvedores precisam garantir que estão preparados para o futuro. Isso não apenas significa que um gêmeo digital dentro dessas aplicações deve refletir um ativo do mundo real em tempo real, mas também significa que a aplicação XR em si é compatível com o hardware XR atual. Para fazer isso, os desenvolvedores devem garantir que seus dados estejam em conformidade com os padrões abertos. Isso pode ser difícil, pois os padrões estão sempre evoluindo e não são bem definidos para aplicações de XR.

Para combater isso, Maurey-Delaunay sugere que os sistemas automatizados são vitais. “Ter inteligência incorporada em nossas ferramentas faz uma grande diferença”, ele diz. “Não é apenas uma conversão [de modelos 3D], são conversões dinâmicas que se adaptam ao seu caso de uso... Montagens complexas podem ver 60 atualizações por dia, certo?” Porque há 30 pessoas trabalhando nisso em várias partes. Portanto, ter essas automações é fundamental."

Comece pequeno, depois amplie

Uma experiência XR não precisa abranger toda uma organização desde o seu lançamento. Pode, e muitas vezes deve, começar pequeno para simplificar o desenvolvimento, reduzir desafios e melhorar as integrações de fluxo de trabalho. É muito melhor fazer um aplicativo XR que mostre a um engenheiro de manutenção como consertar uma peça do que nunca lançá-lo devido ao aumento de funcionalidades. Uma vez que a experiência tenha provado seu valor, ela pode então ser expandida para outras situações.

Maurey-Delaunay observa que isso mais uma vez se relaciona com a pergunta sobre o que a experiência XR vai resolver, pois isso ajuda a definir seu escopo inicial. Ele diz: "É encontrar esses pequenos problemas, resolvê-los e então você constrói sobre isso uma vez que tenha provado o retorno sobre o investimento para essa solução." Você constrói sobre isso para enfrentar mais e mais problemas dentro da organização."

Como a Unity pode ajudar a criar experiências XR

Com a ajuda do Unity, os desenvolvedores podem criar experiências XR industriais enquanto aderem às melhores práticas e limitam desafios comuns.

Por exemplo, Unity Pixyz pode ser um grande trunfo para desenvolvedores que desejam trazer os dados 3D de sua organização para aplicações XR. A ferramenta é capaz de importar e converter formatos de dados CAD, BIM, malha, nuvem de pontos e muitos formatos de dados 3D, otimizá-los e gerenciar os metadados internos para torná-los adequados para uso em experiências XR. Unity também oferece ferramentas de gerenciamento de ativos, que facilitam para os desenvolvedores encontrar e usar esses dados para que possam criar experiências imersivas.

Como prova, Glaze aponta para um exemplo de cliente da Unity de uma empresa de construção japonesa. A empresa digitalizou todos os seus ativos e designs. Qualquer máquina que ele use ou construa pode ser usada em qualquer experiência XR que a empresa deseje criar. E como a empresa usa o ecossistema Unity, esses aplicativos podem ser implantados tanto em navegadores web quanto em aplicativos nativos. O ecossistema Unity também ofereceu uma plataforma de ponta a ponta que simplifica a ingestão, processamento, preparação e gerenciamento dos ativos 3D da empresa de construção.

“O poder do Unity é que podemos ajudá-lo a criar experiências XR que funcionem em um tablet ou no mais recente headset”, diz Glaze, “mas também ajudamos você a dar suporte aos seus dispositivos legados, estendendo seus orçamentos e a necessidade de treinar funcionários em novos equipamentos.”

Quanto a outras maneiras que a Unity pode ajudar os desenvolvedores a produzir experiências XR, Glaze diz: "Acho que se resume a, você quer fazer isso sozinho, ou quer ter toda uma equipe na Unity ajudando a garantir que você seja compatível com o dispositivo mais recente que está prestes a ser lançado." Em alguns casos, até conseguimos acesso antecipado ao hardware, o que ajuda nossos usuários a serem os primeiros a implantar na próxima grande novidade... Também estamos nos mantendo atualizados sobre os mais recentes padrões abertos. Seja o mais recente projeto de código aberto da Meta, ou formatos de arquivo como a descrição de cena universal (USD). Temos os recursos para poder seguir isso e garantir que nossos usuários estejam o mais atualizados possível.”

Unity também oferece recursos educacionais para ajudar os desenvolvedores a produzir aplicações industriais de XR. Esses recursos incluem treinamentos, consultoria e fóruns de discussão comunitária.