Apresentando o Dataset PIV3CAMS para Visão Computacional

Visão computacional é uma área que permite que computadores interpretem e entendam Imagens e Vídeos como os humanos. Esse campo tá crescendo rápido, muito por causa do aprendizado de máquina, que precisa de muitas imagens de alta qualidade. Apesar de existirem muitos conjuntos de dados com imagens tiradas em condições parecidas, não tem muitos que foram coletados de várias câmeras ao mesmo tempo. Neste trabalho, a gente apresenta o conjunto de dados PIV3CAMS.

#O que é PIV3CAMS?

PIV3CAMS significa Paired Image and Video data from three CAMeraS. Ele oferece uma coleção de imagens e vídeos tirados por três câmeras diferentes: uma Canon DSLR, um smartphone Huawei e uma câmera estéreo ZED. Esse conjunto de dados inclui mais de 8.000 pares de imagens e 82 pares de vídeos, mostrando uma variedade de cenas internas e externas coletadas em duas cidades-Zurique na Suíça e Cheonan na Coreia do Sul.

#Por que o PIV3CAMS é importante?

Muitas tarefas de visão computacional, como melhorar a qualidade da imagem, combinar imagens e criar novas vistas a partir de imagens existentes, podem se beneficiar de dados diversos. Ao fornecer um conjunto de dados que captura imagens de diferentes modelos de câmeras, a gente quer apoiar novos desenvolvimentos nos algoritmos de visão computacional.

#O processo de coleta de dados

Pra criar esse conjunto de dados, a gente planejou direitinho como e onde coletar os dados. Consideramos vários fatores:

• Seleção de Câmera: Queríamos escolher uma câmera de smartphone, uma câmera DSLR e uma câmera 3D pra cobrir várias aplicações. O Huawei P20 representa o smartphone, a Canon 5D Mark IV representa a DSLR, e a câmera estéreo ZED é usada pra imagens 3D.

• Design do suporte: Montamos um setup estável pra segurar as três câmeras juntas. Esse setup foi projetado pra minimizar tremores ou movimentos enquanto gravava.

• Sincronização: A gente garantiu que todas as câmeras capturassem imagens ao mesmo tempo pra criar pares. Isso foi importante pra análise depois.

• Calibração: A gente calibrou as câmeras pra garantir que elas conseguissem trabalhar juntas de forma eficaz, usando um software especializado.

• Local e horário: Escolhemos vários locais interessantes nas duas cidades, garantindo que os dados fossem coletados em diferentes horários do dia pra incluir várias condições de iluminação.

Ao abordar esses fatores, conseguimos juntar dados de alta qualidade que seriam úteis pra várias aplicações em visão computacional.

#Visão geral do conjunto de dados

O conjunto de dados PIV3CAMS inclui muitos tipos de imagens e vídeos:

• Imagens: Tem 8.385 pares de imagens, incluindo imagens RGB e RAW junto com Dados de Profundidade.
• Vídeos: O conjunto de dados também tem 82 pares de vídeos, gravados a 30 quadros por segundo. Os vídeos mostram cenas dinâmicas.

O tamanho total do conjunto de dados supera 900GB, tornando ele um recurso rico pra pesquisadores.

#Análise de dados

A gente queria garantir que nosso conjunto de dados tivesse uma boa mistura de diferentes tipos de cenas. Então, observamos:

• Tempo de Coleta: As imagens foram tiradas ao longo do dia, e os vídeos foram capturados principalmente durante o dia. A gente também tentou coletar dados durante a noite, mas teve que descartar muitas cenas noturnas por causa da qualidade ruim.

• Distribuição de Cor: As imagens variam em termos de cor, representando diferentes ambientes e condições climáticas.

• Instâncias de Objetos: Usando uma ferramenta de detecção de objetos, analisamos quais objetos apareceram nas nossas imagens pra entender a diversidade das cenas capturadas.

#Síntese de Novas Vistas

Um dos focos principais da nossa pesquisa é sintetizar novas vistas de uma cena. Isso significa criar imagens que mostrem uma cena de ângulos diferentes com base em imagens existentes. Essas técnicas são úteis em áreas como realidade virtual e aumentada.

#A importância da informação de profundidade

As informações de profundidade são críticas na síntese de vistas, já que ajudam a recriar os aspectos 3D de uma cena a partir de imagens 2D. Ter dados de profundidade precisos permite imagens de melhor qualidade ao criar novas vistas.

#Nossa abordagem

A gente desenvolveu um modelo pra testar a eficácia de usar informações de profundidade na geração de novas vistas. O objetivo era reproduzir métodos existentes enquanto tentávamos várias variações que incorporam os dados de profundidade de forma diferente.

#Experimentação e Resultados

Pra validar nossa abordagem, fizemos experimentos com conjuntos de dados sintéticos e reais.

#Usando dados sintéticos

Treinamos nossos modelos com um grande número de imagens de carros de um conjunto de dados simulado. Ao ajustar o modelo e comparar os resultados, percebemos que usar informações de profundidade melhorou a qualidade das imagens sintetizadas.

#Usando dados do mundo real

Depois, testamos nossos modelos com imagens de cenas de direção reais. Os resultados mostraram que usar informações de profundidade ajuda a gerar vistas alvo, embora houvesse desafios com mapas de profundidade menos precisos.

#Testando no PIV3CAMS

Depois de treinar nosso modelo com sucesso, aplicamos ele no nosso conjunto de dados PIV3CAMS. Enquanto algumas das vistas previstas mostraram melhorias, notamos áreas onde os dados de profundidade não eram densos o suficiente, resultando em informações faltando nas vistas geradas.

#Desafios e direções futuras

Os experimentos revelaram vários desafios:

• Desempenho do ramo de pixels: A precisão dos nossos modelos depende muito de quão bem eles conseguem prever imagens de pixels alvo. Melhorar esse aspecto poderia levar a resultados melhores.

• Qualidade do mapa de profundidade: Muitos dos mapas de profundidade eram esparsos, o que dificultava criar vistas completas. O trabalho futuro precisará lidar com essa questão, possivelmente usando técnicas de inpainting ou denoising pra preencher as lacunas.

#Conclusão

Através desse trabalho, apresentamos o conjunto de dados PIV3CAMS, que tem o potencial de avançar várias aplicações de visão computacional. Nosso estudo destaca a importância de usar informações de profundidade na geração de novas vistas e a necessidade de conjuntos de dados de alta qualidade para aprendizado de máquina. Pesquisas futuras poderiam explorar anotações mais extensas e cenas adicionais pra aumentar a amplitude e aplicabilidade do conjunto de dados.

#Resumo

Em resumo, o conjunto de dados PIV3CAMS é um recurso valioso para visão computacional que abre novas possibilidades para pesquisa e aplicações. Ao fornecer dados coletados de diferentes tipos de câmeras em vários ambientes, a gente pretende apoiar o desenvolvimento de algoritmos e técnicas eficazes nesse campo que tá crescendo rápido.