Novo Conjunto de Dados Busca Melhorar Análise de Vídeos de Culinária

O dataset COM Kitchens é formado por vídeos de culinária não editados filmados de uma perspectiva superior. Esses vídeos têm a intenção de estudar como as pessoas preparam comida seguindo receitas. Cada vídeo está ligado a um gráfico de ações visuais que conecta as ações mostradas no vídeo ao texto instrucional.

#Objetivo do Dataset

O principal objetivo desse dataset é melhorar a compreensão de como as pessoas interagem com os processos de culinária por meio da análise de vídeos. Essa pesquisa é importante, pois métodos de aprendizado profundo precisam de grandes quantidades de dados. Os datasets existentes costumam usar vídeos encontrados online, que nem sempre têm conteúdos instrucionais claros. O COM Kitchens visa preencher essa lacuna.

#Método de Coleta de Dados

Para criar esse dataset, vídeos foram gravados com smartphones modernos. Os participantes prepararam comidas baseadas em receitas selecionadas e filmaram o processo. Esse método permitiu capturar uma ampla variedade de cenários de culinária sem precisar de orientação presencial.

#Gráfico de Ações Visuais

Cada vídeo é acompanhado por um gráfico de ações visuais que descreve as ações realizadas pelo cozinheiro. Esse gráfico mostra a temporização das ações e as conecta a itens específicos no vídeo.

#Características Únicas do COM Kitchens

O COM Kitchens se destaca de outros datasets porque foca em filmagens não editadas tiradas de um ponto de vista fixo. Essa configuração permite uma observação mais natural dos processos de culinária, que pode se perder em vídeos editados ou com várias câmeras.

#Desafios com Datasets Tradicionais

A maioria dos datasets existentes para vídeos de culinária geralmente não captura as nuances da culinária real. Eles podem se concentrar em vídeos editados ou incluir múltiplos ângulos de câmera, o que complica a compreensão de um único procedimento culinário.

#Novas Tarefas de Vídeo Centrado no Humano

O dataset introduz duas novas tarefas projetadas para avaliar as capacidades dos modelos de aprendizado de máquina em lidar com vídeos de culinária:

1. Recuperação de Receita Online (OnRR): Essa tarefa envolve recuperar a receita correspondente com base no que está acontecendo no vídeo. Ajuda a criar aplicativos que sugerem receitas com base em informações visuais.
2. Legenda Densa de Vídeo (DVC-OV): Essa tarefa foca em gerar legendas que descrevem as ações que ocorrem em vários segmentos do vídeo enquanto estão sendo cozinhados.

#Tamanho e Diversidade do Dataset

O dataset COM Kitchens inclui uma vasta coleção de 145 vídeos, somando cerca de 40 horas de filmagem. Os vídeos cobrem uma ampla gama de tarefas e ambientes de culinária, proporcionando um recurso rico para pesquisadores.

#Processo de Anotação de Dados

O processo de anotar os vídeos envolve assisti-los e marcar as ações que ocorrem. Especialistas então traduzem o texto instrucional correspondente do japonês para o inglês, tornando-o mais acessível.

#Seleção de Receitas

As receitas filmadas foram escolhidas de um grande banco de dados de receitas japonesas. O foco foi em receitas que poderiam ser finalizadas em menos de 30 minutos e que eram de dificuldade moderada. Isso garantiu que os vídeos capturassem uma experiência culinária realista.

#Configuração Técnica para Filmagem

Os vídeos foram filmados usando um iPhone 11 Pro, colocado em um tripé para fornecer uma gravação estável e de alta qualidade. A câmera ultra-angular permitiu uma visão completa da área de culinária, tornando todo o processo visível sem obstruções.

#Problemas Encontrados Durante a Filmagem

Embora a maioria dos vídeos tenha sido bem-sucedida, alguns precisaram ser descartados por várias razões. Os problemas mais comuns incluíam ângulos de filmagem incorretos, preocupações com a privacidade e desvios das instruções dadas aos participantes.

#Insights Estatísticos sobre o Dataset

As anotações mostram um alto nível de detalhe, com cada vídeo contendo em média mais de 87 palavras no texto da receita acompanhando, refletindo tanto a complexidade das tarefas quanto a riqueza do conteúdo.

#Entendendo a Recuperação de Receita Online (OnRR)

A tarefa OnRR é projetada para avaliar quão efetivamente um sistema pode combinar vídeos de culinária com as receitas corretas. Isso envolve analisar o conteúdo do vídeo até certo ponto para determinar qual receita se encaixa no processo de culinária em andamento.

#Identificação da Etapa da Receita

Além de recuperar receitas, o sistema também deve identificar qual estágio do processo de culinária o vídeo está ilustrando. Isso requer uma análise cuidadosa do conteúdo do vídeo em relação às etapas descritas nas receitas.

#Introdução à Legenda Densa de Vídeo (DVC-OV)

A DVC-OV visa gerar legendas detalhadas para ações específicas dentro dos vídeos de culinária. Essa tarefa é crucial para melhorar a compreensão e acessibilidade dos vídeos de culinária.

#O Papel dos Gráficos de Ações na Compreensão de Vídeo

Os gráficos de ações fornecem uma maneira estruturada de entender as relações entre ingredientes e ações no processo de culinária. Eles ajudam a representar visualmente a sequência de tarefas realizadas em uma receita.

#Implementação de Modelos de Aprendizado Profundo

O dataset desafia os modelos de aprendizado de máquina existentes, testando sua capacidade de compreender longas sequências de ações e as dependências temporais presentes nos vídeos de culinária. Isso ajuda a identificar os pontos fortes e fracos dos modelos atuais.

#Direções Futuras para Pesquisa

O trabalho no dataset COM Kitchens sugere possíveis futuras direções de pesquisa no campo da compreensão de vídeo. Ao expandir o dataset e as tarefas associadas, novas percepções sobre a natureza da culinária e tarefas processuais podem ser obtidas.

#Contribuições para o Campo da Compreensão de Vídeo Procedimental

O COM Kitchens oferece um recurso único para pesquisadores interessados em melhorar a compreensão de vídeo, especialmente no contexto da culinária. Esse dataset tem o potencial de avançar os métodos e tecnologias atuais para processar e interpretar conteúdo de vídeo.

#Conclusão

O dataset COM Kitchens representa um avanço significativo no estudo dos processos de culinária por meio de vídeo. Ao fornecer filmagens não editadas e anotações detalhadas, ele oferece um recurso valioso tanto para pesquisas acadêmicas quanto para aplicações práticas no campo da compreensão de vídeo.