Avanços na Modelagem de Formas Livres em XR

Modelagem de forma em gráficos de computador existe há muitos anos. É importante em várias áreas como design, animação, arquitetura e entretenimento. Com a ascensão da realidade virtual e aumentada (VR e AR), agora temos novas ferramentas e aplicações que permitem aos usuários criar e trabalhar em formas 3D em tempo real. Isso é particularmente útil em ambientes que combinam os mundos virtual e real, conhecidos como Realidade Estendida (XR). XR permite uma maneira mais intuitiva e acessível de modelar formas.

A introdução da inteligência artificial (IA) tá começando a mudar como as pessoas criam e modificam modelos 3D. A IA pode gerar informações sobre formas a partir de comandos de texto, o que é uma grande mudança para os artistas. Tem rolado bastante pesquisa sobre modelagem interativa de formas 3D, mas não tem muitas revisões recentes que foquem no que isso significa para ambientes interativos de XR. Esse artigo tem como objetivo preencher essa lacuna, analisando a pesquisa sobre Modelagem de Formas livres, especialmente focando em escultura e esboço 3D, que são as maneiras mais naturais de modelar formas.

A gente categoriza e discute o trabalho existente com base em cinco pontos chave: o que os artigos contribuem, o cenário em que acontecem, as ferramentas usadas, métodos automáticos de conclusão de formas e como os designers podem trabalhar juntos. No final, vamos falar sobre as lacunas entre escultura interativa e esboço, e como achamos que isso vai mudar com mais ferramentas de IA no futuro.

#O que é Realidade Estendida (XR)?

Realidade estendida (XR) inclui várias tecnologias imersivas como realidade aumentada (AR), realidade virtual (VR) e realidade mista (MR). Essas tecnologias melhoram ou simulam o mundo real usando elementos digitais, seja sobrepondo itens virtuais ao mundo real ou criando experiências totalmente virtuais.

Na AR, os usuários podem ver objetos virtuais junto com ambientes do mundo real por meio de dispositivos como óculos AR ou telas móveis. Na VR, os usuários podem se imergir completamente em um mundo gerado por computador usando um headsets de VR que oferece uma visão de 360 graus. A realidade mista permite que itens digitais e reais coexistam e interajam em tempo real, criando uma mistura de ambos os mundos.

#Modelagem de Forma

Modelagem de forma é uma área central de gráficos de computador que tem muitos métodos diferentes. Um método comum é a reconstrução de formas 3D, onde um usuário constrói um modelo 3D a partir de uma ou mais imagens. Outro método é a modelagem de forma estatística, onde o modelo criado é semelhante a uma forma preexistente.

Esse artigo foca na modelagem de formas livres, que é mais sobre expressão artística. O usuário cria uma forma esculpindo ou moldando. Nos últimos 15 anos, a modelagem de formas livres evoluiu, especialmente com o maior uso das tecnologias de VR e AR. Dispositivos como Leap Motion, Kinect, HTC Vive, Oculus Rift e Hololens melhoraram como podemos modelar formas nesses ambientes.

No passado, os usuários interagiam com os modelos principalmente em telas 2D onde podiam apenas ver projeções de formas 3D. Hoje, dispositivos de realidade mista permitem que os usuários vejam e manipulem formas 3D de qualquer ângulo, oferecendo uma experiência muito mais rica. Avanços em técnicas de renderização e visualização também contribuem para uma melhor modelagem de forma, oferecendo insights mais claros sobre as formas sendo criadas.

#Revisão da Literatura

Várias pesquisas analisaram sistemas de modelagem baseados em esboços, focando principalmente em diferentes técnicas para esboços 2D e 3D. No entanto, esse artigo incluirá técnicas de escultura para uma discussão mais abrangente sobre o tema.

#Visão Histórica da Pesquisa em Modelagem de Forma

Em 2009, uma pesquisa sobre sistemas de modelagem baseados em esboços categorizou como os esboços são interpretados. Outra pesquisa em 2016 elaborou sobre diferentes métodos de esboço usados em 2D e 3D. Mais recentemente, um estudo de 2021 focou no trabalho colaborativo em ambientes de AR e VR. Uma pesquisa de 2022 investigou o esboço à mão livre em aprendizado profundo, examinando seus desafios e possibilidades.

Nossa revisão tem como objetivo combinar as percepções desses trabalhos anteriores para oferecer uma compreensão mais ampla tanto das técnicas de escultura quanto de esboço na modelagem de formas livres.

#Objetivos da Pesquisa

Essa revisão foca na modelagem de formas livres em realidade mista. As principais perguntas abordadas incluem:

• Quais técnicas de modelagem são preferidas em XR?
• Quais métodos de pesquisa são usados na modelagem de formas 3D em XR?
• Quais lacunas existem na pesquisa atual?
• Qual hardware é preferido para diferentes técnicas de modelagem?

Para encontrar respostas, buscamos artigos de pesquisa relevantes publicados desde 2007 em várias bases de dados. Usamos palavras-chave como "escultura virtual", "esboço 3D" e "realidade mista" para reunir informações para esse estudo.

#Metodologia

Revisamos sistematicamente a literatura sobre modelagem de formas livres em XR. Depois de buscar artigos, filtramos com base em critérios de inclusão. De 431 trabalhos encontrados, 224 eram inicialmente relevantes, e 167 continham estudos úteis. Por fim, selecionamos 109 artigos como fontes primárias, incluindo alguns estudos fundamentais de antes de 2007.

#Técnicas em Modelagem de Formas Livres

A modelagem de formas livres pode ser amplamente categorizada em duas técnicas principais: escultura e esboço.

#Escultura

Na escultura, o usuário começa com uma forma básica e então modifica puxando, empurrando ou esculpindo. Os usuários frequentemente usam as mãos ou ferramentas específicas para moldar o objeto. Existem muitas abordagens para escultura virtual, incluindo algoritmos que representam formas e diferentes métodos de interação usando tanto instrumentos tradicionais quanto inovadores.

Alguns desenvolvimentos significativos na escultura digital remontam a 1991, onde formas primitivas eram modeladas em um espaço de grade. Técnicas mais recentes têm avançado para o uso de dispositivos físicos, como luvas ou sistemas de feedback háptico, para melhorar a experiência da escultura. Sistemas de argila virtual imitam a argila física e permitem que os usuários moldem objetos virtuais de maneira semelhante ao trabalho com argila real.

#Escultura em Múltiplas Camadas

Alguns métodos envolvem o uso de várias camadas ou formas para criar modelos mais complexos. Por exemplo, os usuários podem fundir duas formas de malha ou criar modelos com diversos materiais. Essa abordagem de múltiplas camadas permite maior detalhe e flexibilidade no design.

#Esboço 3D

Esboço 3D é outra técnica popular onde os usuários criam formas desenhando traços no espaço. Esse método pode envolver começar do zero ou adicionar novos elementos a formas existentes. Muitas ferramentas interativas estão disponíveis para esboço, dependendo das necessidades do usuário.

A pesquisa em esboço 3D evoluiu consideravelmente; métodos iniciais eram simplistas, focando em desenhar formas geométricas. Hoje, os usuários podem criar formas mais complexas, frequentemente usando ferramentas que capturam seus movimentos e os traduzem em modelos 3D.

#Gerando Formas 3D a partir de Esboços

Rabiscos ou desenhos 2D podem ser transformados em formas 3D por meio de algoritmos avançados. Alguns pesquisadores desenvolveram sistemas que pegam o esboço de um usuário e o inflacionam em um objeto 3D. Outros métodos envolvem usar redes neurais para gerar representações 3D diretamente a partir de desenhos 2D.

#Ferramentas de Interação para Modelagem Livre

As ferramentas usadas para modelagem desempenham um grande papel na experiência do usuário. Diferentes técnicas favorecem diferentes tipos de ferramentas de interação, como métodos baseados em gestos, ferramentas de caneta e controladores 3D.

#Ferramentas Baseadas em Gestos

Gestos com as mãos são frequentemente usados para interação, especialmente na escultura. Câmeras de profundidade podem capturar esses gestos com precisão, permitindo uma maneira natural de interagir com os modelos. Alguns métodos rastreiam os movimentos das mãos para que os usuários moldem objetos de uma maneira mais tátil.

#Ferramentas Baseadas em Caneta

Usar um stylus ou caneta é uma técnica comum tanto na escultura quanto no esboço. Essas ferramentas oferecem controle preciso, simulando experiências de desenho tradicionais. Ferramentas de caneta são especialmente populares para esboço, onde os usuários podem desenhar diretamente em tablets ou telas.

#Controladores 3D

Em ambientes virtuais, controladores 3D são comumente usados. Essas ferramentas são projetadas para funcionar especificamente em configurações de VR, permitindo que os usuários interajam com formas de uma maneira mais intuitiva. Controladores personalizados também foram desenvolvidos para melhorar a experiência de modelagem.

#O Papel da IA na Modelagem de Forma

A IA está sendo cada vez mais usada na modelagem de forma, levando a duas abordagens principais: modelagem sugestiva e geração de formas baseada em IA.

#Modelagem Sugestiva

Essa técnica usa IA para sugerir o que os usuários podem querer criar com base em suas ações anteriores. Por exemplo, se um usuário tiver um objetivo específico em mente, a IA pode analisar comportamentos passados para oferecer sugestões úteis. Esse método pode ajudar os usuários a completar formas mais facilmente e também pode corrigir erros durante o processo de modelagem.

#Geração de Formas Baseada em IA

Novos modelos de IA podem gerar formas com base na entrada do usuário. Os usuários podem fornecer esboços ou imagens, e a IA pode criar uma representação 3D dessas entradas. Esse processo pode, às vezes, permitir edição após a geração, embora os usuários frequentemente tenham controle limitado sobre os detalhes do modelo.

#Edição Colaborativa

Outra área de foco na modelagem de forma é a edição colaborativa, onde vários usuários podem trabalhar no mesmo modelo simultaneamente. Essa abordagem apresenta desafios, como manter o controle de alterações e gerenciar conflitos quando várias edições acontecem.

A tecnologia desenvolveu métodos para lidar com tarefas colaborativas de maneira eficaz. Por exemplo, sistemas foram criados para fundir alterações de diferentes usuários enquanto minimizam conflitos. Essas inovações visam melhorar o trabalho em equipe e os aspectos de apresentação dos esforços de modelagem.

#Tendências Atuais e Direções Futuras

A modelagem de formas livres tá ganhando interesse devido aos avanços tecnológicos que tornam as experiências de XR mais acessíveis e baratas. No entanto, ainda há muitas questões a serem abordadas.

#Tendências de Pesquisa

Nossa pesquisa mostra que o esboço 3D é frequentemente preferido em relação à escultura virtual. Isso pode ser devido à natureza intuitiva do esboço, pois os usuários podem facilmente criar do zero. A escultura, por outro lado, pode ser mais difícil para iniciantes entenderem.

#Lacunas na Pesquisa

Apesar do progresso, existem lacunas na pesquisa atual. Por exemplo, tecnologias de VR e MR não replicam totalmente o feedback físico que um usuário experimenta ao trabalhar com materiais reais. Além disso, existem problemas de latência que podem atrapalhar a experiência de modelagem.

A modelagem de forma com IA também é uma área com potencial de crescimento. Algoritmos atuais poderiam se beneficiar de desenvolvimento para produzir resultados mais rápidos e de maior qualidade. Além disso, as capacidades de edição para modelos gerados por IA precisam de melhorias para permitir maior controle do usuário.

#Hardware Preferido

A pesquisa destaca que os usuários geralmente preferem ferramentas que se aproximam das experiências tradicionais de desenho. Para esboço, ferramentas de caneta são favorecidas, enquanto gestos são mais comuns para escultura. Pesquisas futuras devem se concentrar em melhores sistemas de feedback que melhorem a experiência do usuário.

#Conclusão

Nesta revisão, exploramos o estado da modelagem de formas livres em XR. Ao olhar para as técnicas usadas, como os usuários interagem com essas formas e o papel da IA, fornecemos uma visão abrangente desse campo em evolução. Identificamos desafios e oportunidades significativas para futuras pesquisas e esperamos inspirar mais avanços nas técnicas de modelagem de formas livres em ambientes de realidade estendida.