Sistema Multi-Agente Dinâmico para Resposta a Perguntas em Vídeo

Responder a perguntas em vídeo (VQA) é uma tarefa que envolve responder perguntas com base em clipes de vídeo. O EgoSchema Challenge 2024 foca nisso, oferecendo um conjunto de dados com mais de 5.000 perguntas relacionadas a vários clipes de vídeo. Cada pergunta tem cinco opções de resposta, e o desafio é encontrar a melhor resposta.

A gente propõe uma nova abordagem chamada Video Question Answering com Agentes Múltiplos Gerados Dinamicamente (VDMA). Essa abordagem usa um sistema de vários agentes que são criados na hora, cada um com uma especialidade específica para responder perguntas com precisão. Esse método funciona junto com sistemas existentes e busca melhorar a qualidade das respostas.

#O EgoSchema Challenge

O EgoSchema é um conjunto de dados projetado para tarefas de perguntas e respostas em vídeo de longa duração. Ele inclui perguntas que cobrem vários aspectos, como o propósito das ações no vídeo, como as ferramentas são usadas e identificar ações principais. Com esse conjunto de dados, o desafio é fornecer respostas precisas e sensíveis ao contexto das perguntas.

Nos últimos anos, diferentes métodos foram sugeridos para lidar com esses desafios. Alguns métodos usam descrições de imagens para gerar respostas, enquanto outros dependem de sistemas que utilizam agentes para coletar informações relevantes. Trabalhos recentes com Modelos de Linguagem Grande (LLMs) também tentaram usar debates entre agentes para melhorar a qualidade das respostas. Nossa estratégia se baseia nesses estudos anteriores ao introduzir uma estrutura que consiste em múltiplos agentes especializados para a tarefa de VQA.

#Nossa Contribuição

Nossa contribuição consiste em duas partes principais:

1. Estrutura de Múltiplos Agentes: Propomos um sistema que consiste em duas etapas: criação dinâmica de agentes e Resposta a Perguntas com vários agentes especialistas.
2. Resultados de Desempenho: Testamos nosso método e alcançamos uma precisão de 70,7% no conjunto de dados EgoSchema. Nossos resultados mostram que usar múltiplos agentes é mais eficaz do que depender de um único agente.

#Como Nossa Abordagem Funciona

O sistema VDMA é construído em duas etapas principais.

#Etapa 1: Criação Dinâmica de Agentes

Na primeira etapa, analisamos o conteúdo do vídeo e o texto da pergunta para identificar os especialistas certos que podem fornecer insights. Criamos prompts que descrevem o que cada agente especialista deve saber para responder à pergunta. Esse método permite uma resposta personalizada com base no contexto específico do vídeo e da pergunta, melhorando a precisão.

#Etapa 2: Resposta a Perguntas com Múltiplos Agentes

Na segunda etapa, usamos os agentes que criamos na primeira etapa para responder às perguntas. Cada agente especialista usa o conhecimento específico relacionado à pergunta e ao vídeo para formar uma resposta. Tem também um agente organizador que combina as contribuições de todos os especialistas e decide a resposta final.

Cada agente tem acesso a duas ferramentas para ajudá-lo a analisar o vídeo e a pergunta: uma ferramenta fornece informações de legendas de imagem, e a outra é para uma análise mais profunda do vídeo. Os agentes escolhem a melhor ferramenta com base na pergunta específica e, em seguida, interpretam o vídeo, compartilham a melhor resposta e explicam seu raciocínio.

O organizador então revisa as respostas de todos os agentes e consolida tudo em uma única resposta final.

#Resultados

Nós avaliamos nosso método usando o conjunto de dados EgoSchema, que envolve responder perguntas sobre um clipe de vídeo de três minutos. Cada pergunta tem cinco respostas possíveis para escolher. Nosso modelo escolhe a resposta que melhor corresponde à pergunta.

Para melhorar ainda mais nossa precisão, usamos um método de conjunto que envolveu cinco modelos diferentes, incluindo nossa abordagem principal. O método de conjunto funciona coletando votos de cada modelo para decidir a resposta final. Mesmo sendo um método de votação bem simples, ele se mostrou bem eficaz em melhorar a precisão.

#Precisão da Nossa Abordagem

Quando comparamos o desempenho do nosso sistema de múltiplos agentes com outros métodos, nossa abordagem de múltiplos agentes mostrou melhor precisão. Por exemplo, modelos que usaram múltiplos agentes tiveram taxas de sucesso mais altas do que os que não usaram.

Nos nossos testes, descobrimos que ter três agentes especialistas deu melhores resultados do que só dois. Porém, quando pedimos para o organizador dar respostas mais curtas quando não tinha certeza, vimos uma leve queda na precisão.

Após aplicar o método de conjunto, conseguimos uma taxa de precisão geral de 70,7%, que foi maior do que qualquer modelo individual.

#Estudo de Ablação

Para avaliar ainda mais a eficácia do nosso método, fizemos um estudo de ablação. Isso significou que testamos diferentes partes da nossa abordagem para ver como elas impactavam o desempenho geral. Focamos em três aspectos:

1. Comparar o desempenho do nosso sistema de múltiplos agentes com um método de agente único.
2. Avaliar o papel dos especialistas de domínio gerados dinamicamente no nosso processo.
3. Examinar o efeito de usar diferentes números de quadros de vídeo durante a análise.

#Experimento 1: Múltiplos Agentes vs. Agente Único

Comparamos o sistema de múltiplos agentes com uma abordagem de agente único. Os resultados mostraram que nosso método de múltiplos agentes teve um desempenho um pouco melhor, com uma precisão de 73,2% em comparação com 72,8% para o agente único.

A vantagem de ter múltiplos agentes é que eles trazem diferentes pontos de vista e conhecimentos especializados, o que pode ajudar a esclarecer perguntas difíceis e melhorar as respostas finais.

#Experimento 2: Especialistas de Domínio vs. Assistentes de IA

Em seguida, olhamos para o quão bem nossos especialistas gerados dinamicamente se saíram em comparação a usar assistentes de IA genéricos para todos os agentes. Nossas descobertas indicaram que usar especialistas especializados alcançou melhor precisão (73,2%) do que os assistentes de IA uniformes (72,6%).

Ter especialistas que podiam focar em perguntas específicas permitiu respostas mais precisas e relevantes, mostrando o benefício do conhecimento especializado.

#Experimento 3: Variação no Número de Quadros

No último estudo, testamos como mudar o número de quadros de vídeo usados para análise afetava o desempenho. Comparamos o uso de 18 quadros com 90 quadros. De maneira geral, usar mais quadros melhorou o desempenho, especialmente na análise de sequências de ação.

No entanto, analisar mais quadros também dificultou a avaliação das interações entre os personagens, já que elas compõem uma parte menor do vídeo. Isso indica a necessidade de seleção cuidadosa de quadros para focar nos segmentos mais relevantes, o que pode levar a melhores resultados de análise.

#Conclusão

Neste artigo, apresentamos o VDMA para responder perguntas em vídeo de longa duração. Nossa abordagem conseguiu uma taxa de precisão de 70,7% no conjunto de dados EgoSchema. Isso mostra que usar um sistema de múltiplos agentes gerados dinamicamente é mais eficaz do que depender de um único agente para responder perguntas, explorando diversas áreas de especialização.

Nossa abordagem se baseia em múltiplas etapas e agentes, o que aumenta o custo computacional em comparação com sistemas de agente único. No entanto, o aumento na precisão é uma vantagem substancial. Desenvolvimentos recentes em LLMs também tornaram as preocupações sobre o desempenho computacional desses sistemas menos urgentes.

Em trabalhos futuros, pode ser interessante permitir que os agentes debatam até que um consenso seja alcançado, o que poderia melhorar ainda mais a precisão das respostas. A escolha das ferramentas usadas pelos agentes desempenha um papel crítico no desempenho, e melhorias contínuas nessas ferramentas podem levar a resultados ainda melhores.