Novo Método para Registro de Nuvens de Pontos Não Supervisionado
Uma nova abordagem alinha nuvens de pontos 3D sem dados rotulados.
― 7 min ler
Índice
O registro de nuvens de pontos é um processo usado para alinhar dois conjuntos de pontos 3D que podem se sobrepor parcialmente. Isso é importante em várias áreas, como robótica, realidade aumentada e direção autônoma. No entanto, os métodos existentes geralmente precisam de dados rotulados para funcionar bem.
Para enfrentar esses desafios, foi desenvolvido um novo método que não requer dados rotulados. Esse método usa um modelo estatístico para aprender a registrar nuvens de pontos que só se sobrepõem parcialmente.
Visão Geral do Método
O novo método é baseado no aprendizado de distribuições de probabilidade a partir das nuvens de pontos. Ao aplicar um algoritmo especial chamado algoritmo Sinkhorn, o método consegue fazer conexões entre as diferentes partes das duas nuvens de pontos.
O processo de aprendizado é guiado por três tipos principais de perdas que garantem que o modelo aprenda a fazer isso de forma eficaz: autocoerência, coerência cruzada e perda contrastiva local. Esses componentes trabalham juntos para garantir que as características aprendidas a partir das nuvens de pontos sejam consistentes, mesmo quando há sobreposição parcial.
O que é Registro de Nuvens de Pontos?
O registro de nuvens de pontos visa encontrar a melhor transformação que pode alinhar duas nuvens de pontos em um único sistema de coordenadas. Isso é particularmente útil em aplicações onde dados 3D são coletados de diferentes ângulos ou sensores.
O processo de registro geralmente requer que os pontos de uma nuvem sejam correspondidos com os de outra. No entanto, quando as nuvens têm apenas sobreposição parcial, essa correspondência se torna complicada. Em muitos métodos atuais, o sucesso do registro de nuvens de pontos depende do acesso a dados rotulados, que muitas vezes é difícil de obter.
Desafios com Métodos Existentes
Existem dois tipos principais de métodos de registro de nuvens de pontos: métodos sem correspondência e métodos baseados em correspondência.
Métodos Sem Correspondência: Esses métodos olham para as características gerais das nuvens de pontos e tentam minimizar as diferenças entre elas. No entanto, essas técnicas muitas vezes falham ao lidar com cenários do mundo real em que as nuvens não se sobrepõem completamente.
Métodos Baseados em Correspondência: Esses métodos tentam encontrar pontos individuais em uma nuvem que correspondam aos de outra. O desafio aqui é que se as nuvens tiverem densidades de pontos muito diferentes ou padrões repetitivos, é difícil estabelecer correspondências confiáveis.
Além disso, muitos métodos existentes precisam de muitos dados rotulados para treinamento, o que pode ser trabalhoso e caro de coletar.
Solução Proposta
Para resolver esses problemas, foi proposto um novo framework de aprendizado não supervisionado. Esse método permite o registro de nuvens de pontos com sobreposições parciais sem precisar de dados rotulados.
As principais inovações desse método incluem:
- Aprender distribuições de probabilidade a partir das nuvens de pontos.
- Usar o algoritmo Sinkhorn para fazer conexões entre distribuições.
- Projetar funções de perda que ajudam o modelo a aprender de forma não supervisionada.
Aprendendo Distribuições de Probabilidade
O framework começa usando uma rede especializada para aprender as distribuições de probabilidade das nuvens de pontos. Cada nuvem de pontos é modelada como uma mistura de distribuições gaussianas. Isso significa que os pontos na nuvem são vistos como vindo de uma coleção de curvas em forma de sino sobrepostas.
Os parâmetros dessas distribuições são aprendidos durante o processo de treinamento. Dessa forma, o modelo consegue captar a estrutura subjacente de cada nuvem de pontos com precisão.
O Algoritmo Sinkhorn
Uma vez que as distribuições de probabilidade são aprendidas, o algoritmo Sinkhorn é empregado para estabelecer correspondências entre as duas nuvens de pontos. Esse algoritmo ajuda a combinar diferentes partes das nuvens enquanto mantém as propriedades das distribuições.
O algoritmo Sinkhorn funciona ajustando as correspondências com base nos pesos das distribuições, garantindo que as correspondências aprendidas sejam significativas mesmo quando as nuvens de pontos só se sobrepõem parcialmente.
Funções de Perda para Aprendizado Não Supervisionado
Três funções de perda são projetadas para melhorar o processo de aprendizado:
Perda de Autocoerência: Essa perda incentiva as distribuições de probabilidade aprendidas das nuvens de pontos a serem iguais tanto no espaço de coordenadas quanto no espaço de características. Ao garantir que as duas distribuições coincidam, o modelo aprende a manter a consistência em suas características.
Perda de Coerência Cruzada: Essa perda foca em garantir que pontos de duas nuvens parcialmente sobrepostas que pertencem ao mesmo grupo compartilhem o mesmo centróide. Isso ajuda o modelo a aprender características que são invariantes a transformações.
Perda Contrastiva Local: Essa perda ajuda a incentivar o modelo a aprender características que não só sejam distintas, mas também levem em conta a estrutura local das nuvens de pontos. Isso é importante porque muitos objetos do mundo real não têm visibilidade completa, e características locais podem fornecer informações valiosas.
Avaliação do Método
A performance do método proposto é avaliada em vários conjuntos de dados disponíveis publicamente, incluindo 3DMatch, 3DLoMatch, ModelNet e ModelLoNet. Os resultados mostram que o novo método supera as abordagens não supervisionadas existentes e até compete com alguns métodos supervisionados em termos de precisão.
Conjuntos de Dados de Teste
- 3DMatch: Esse conjunto de dados é composto por várias cenas internas com fragmentos de nuvem de pontos parcialmente sobrepostos.
- 3DLoMatch: Semelhante ao 3DMatch, esse conjunto de dados também contém cenas internas, mas com uma sobreposição média menor.
- ModelNet: Esse conjunto de dados consiste em modelos CAD de várias categorias, permitindo que o método seja testado em diferentes tipos de objetos.
- ModelLoNet: Uma variação do ModelNet, mas com sobreposições menores entre os modelos.
Métricas de Performance
A performance do método é medida usando várias métricas, incluindo:
- Erro de Rotação Relativa (RRE): Mede a precisão da transformação de rotação.
- Erro de Tradução Relativa (RTE): Mede a precisão da transformação de tradução.
- Recuperação de Registro (RR): Essa é a porcentagem de pares de nuvens de pontos onde o erro de transformação fica abaixo de um certo limite.
Os resultados indicam que o método proposto alcança uma maior recuperação de registro e menores erros de rotação e tradução em comparação com métodos existentes.
Conclusão
Em resumo, o framework de registro probabilístico profundo não supervisionado proposto oferece uma solução robusta para alinhar nuvens de pontos com sobreposições parciais. Ao aproveitar distribuições de probabilidade e funções de perda inovadoras, o método aborda efetivamente as limitações das abordagens existentes que dependem fortemente de dados rotulados.
Esse avanço tem grandes implicações para aplicações em robótica, realidade aumentada e outras áreas que precisam de um alinhamento preciso de dados 3D. O método não só se sai bem em conjuntos de dados de referência, mas também mostra versatilidade ao lidar com cenários do mundo real onde obter dados rotulados pode ser um grande desafio.
As direções futuras para essa pesquisa incluem mais aprimoramentos no framework, possíveis aplicações em outras áreas da visão computacional e a exploração de algoritmos mais eficientes para tarefas de registro de nuvens de pontos em grande escala.
Título: Unsupervised Deep Probabilistic Approach for Partial Point Cloud Registration
Resumo: Deep point cloud registration methods face challenges to partial overlaps and rely on labeled data. To address these issues, we propose UDPReg, an unsupervised deep probabilistic registration framework for point clouds with partial overlaps. Specifically, we first adopt a network to learn posterior probability distributions of Gaussian mixture models (GMMs) from point clouds. To handle partial point cloud registration, we apply the Sinkhorn algorithm to predict the distribution-level correspondences under the constraint of the mixing weights of GMMs. To enable unsupervised learning, we design three distribution consistency-based losses: self-consistency, cross-consistency, and local contrastive. The self-consistency loss is formulated by encouraging GMMs in Euclidean and feature spaces to share identical posterior distributions. The cross-consistency loss derives from the fact that the points of two partially overlapping point clouds belonging to the same clusters share the cluster centroids. The cross-consistency loss allows the network to flexibly learn a transformation-invariant posterior distribution of two aligned point clouds. The local contrastive loss facilitates the network to extract discriminative local features. Our UDPReg achieves competitive performance on the 3DMatch/3DLoMatch and ModelNet/ModelLoNet benchmarks.
Autores: Guofeng Mei, Hao Tang, Xiaoshui Huang, Weijie Wang, Juan Liu, Jian Zhang, Luc Van Gool, Qiang Wu
Última atualização: 2023-03-23 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2303.13290
Fonte PDF: https://arxiv.org/pdf/2303.13290
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.