Aprimorando a Decomposição de Perguntas Visuais em Modelos Multimodais

Responder perguntas complexas pode ser complicado, especialmente quando essas perguntas exigem um raciocínio cuidadoso em múltiplos passos. Uma boa forma de encarar esse desafio é através de um método chamado Decomposição de Perguntas (QD), que ajuda a dividir perguntas difíceis em partes mais simples. Embora a QD tenha sido bastante estudada para modelos baseados em linguagem, sua aplicação em modelos multimodais-aqueles que conseguem lidar tanto com texto quanto com imagens-não recebeu a atenção que merecia.

Este artigo discute uma nova área chamada Decomposição Visual de Perguntas (VQD), que analisa como os modelos multimodais podem dividir perguntas visuais. Apresentamos um novo método para avaliar quão bem esses modelos constroem Sub-perguntas e sugerimos maneiras de melhorar seu desempenho nessa tarefa.

#A Necessidade de Decomposição de Perguntas

Perguntas complexas muitas vezes exigem raciocínio em múltiplos passos. Quando um modelo tenta responder a esse tipo de pergunta, ele pode ter dificuldades se tentar responder tudo de uma vez. A QD ajuda nesses casos ao dividir a pergunta principal em sub-perguntas menores que são mais fáceis de entender e responder. Esse método já mostrou melhorar a capacidade dos modelos de fornecer respostas precisas.

Pesquisas existentes têm se concentrado principalmente em usar modelos de linguagem tradicionais para QD em contextos apenas de texto. Alguns estudos começaram a aplicar abordagens semelhantes para responder perguntas visuais (VQA) usando legendas geradas a partir de imagens. No entanto, confiar apenas nas legendas pode resultar na perda de informações importantes das imagens reais.

Recentemente, os modelos multimodais melhoraram sua capacidade de processar imagens diretamente, permitindo que eles enfrentem perguntas visuais sem precisar de legendas. Contudo, ainda não houveram muitos focos em como esses modelos podem decompor efetivamente perguntas visuais. É aí que entra a VQD.

#Questões de Pesquisa Principais

Este trabalho aborda várias questões importantes sobre a capacidade dos modelos multimodais de realizar VQD:

1. Quão eficazes são esses modelos em gerar sub-perguntas, e como avaliamos a qualidade dessas sub-perguntas?
2. Quais estratégias podem melhorar a habilidade dos modelos em decidir quando decompor uma pergunta e quando respondê-la diretamente?
3. Como podemos medir a capacidade desses modelos em VQD?

Para abordar essas questões, precisamos primeiro de uma forma de avaliar quão bem os modelos multimodais realizam VQD, que atualmente está faltando.

#Desafios Existentes na Decomposição de Perguntas

Atualmente, a maioria das avaliações da capacidade de um modelo de decompor perguntas se baseia se a resposta final está correta. Esse método é limitado porque, mesmo que um modelo produza a resposta certa, as sub-perguntas que ele gera podem ser irrelevantes ou repetitivas. Sub-perguntas de alta qualidade deveriam ser relevantes para a pergunta original, não repetitivas, e ter respostas que possam ser fundamentadas na imagem ou no conhecimento geral.

Para avaliar a qualidade das sub-perguntas, propomos uma estrutura chamada SubQuestRater, focando em três critérios cruciais:

1. Não-Repetição: Garantir que as sub-perguntas não repitam o mesmo conteúdo em diferentes formas.
2. Relevância: Certificar que as sub-perguntas contribuam de forma significativa para responder à pergunta principal.
3. Fundamentação: Verificar se as respostas das sub-perguntas podem ser encontradas na imagem ou através do conhecimento comum.

#Configurando a Estrutura de Avaliação

Para avaliar as capacidades de VQD, criamos um conjunto de dados de avaliação composto por perguntas complexas que exigem decomposição. Selecionamos manualmente dois conjuntos de dados, A-OKVQA e VQA-Introspect, que contêm perguntas que convidam a um raciocínio complexo.

Desses conjuntos de dados, extraímos 200 perguntas que se encaixam em nossos critérios de exigirem decomposição. Nossa nova estrutura, SubQuestRater, nos permite pontuar a qualidade das sub-perguntas geradas por modelos multimodais existentes.

#Descobertas da Avaliação

Avaliar várias modelos multimodais populares usando nossa estrutura SubQuestRater. Os resultados indicaram que esses modelos muitas vezes têm dificuldade em criar sub-perguntas de alta qualidade. Eles tendem a produzir muitas sub-perguntas repetitivas ou irrelevantes que não ajudam efetivamente a responder a pergunta original.

Diante desses resultados, percebemos que precisávamos de uma forma de aumentar a capacidade desses modelos para VQD. Um passo crucial seria criar um conjunto de dados especializado projetado para treinar modelos a se saírem melhor na decomposição de perguntas.

#Apresentando o Conjunto de Dados DecoVQA

Para melhorar a capacidade dos modelos em VQD, desenvolvemos um novo conjunto de dados chamado DecoVQA. Este conjunto contém perguntas cuidadosamente selecionadas junto com sub-perguntas de alta qualidade. Escolhemos perguntas complexas que precisam de raciocínio lógico para serem respondidas, garantindo que as sub-perguntas sejam relevantes, não repetitivas e fundamentadas no contexto fornecido pelas imagens.

Além de fornecer amostras de perguntas complexas, também incluímos perguntas mais simples que não precisam de decomposição, o que ajuda a evitar que o modelo esqueça como respondê-las diretamente.

#Aumentando a Capacidade de VQD com Ajustes Finais

Depois de ter o conjunto de dados DecoVQA, começamos a ajustar os modelos multimodais usando-o. O ajuste envolve ajustar o modelo com base em nosso conjunto de dados específico para torná-lo melhor em decompor perguntas. Nosso processo de treinamento inclui uma etapa extra onde os modelos aprendem a decidir se devem decompor uma pergunta ou respondê-la diretamente.

O pipeline de treinamento inclui uma nova função objetivo. Essa função incorpora tanto a perda de previsão tradicional quanto uma perda de entropia cruzada binária para ajudar os modelos a entender quando aplicar a decomposição de maneira eficaz.

#Resultados do Ajuste

Após ajustar os modelos com o conjunto de dados DecoVQA, observamos melhorias significativas em sua capacidade de gerar sub-perguntas de alta qualidade. Os modelos não apenas produziram melhores sub-perguntas, mas também sua precisão geral em responder às perguntas principais aumentou.

Além disso, ao avaliar os modelos usando o conjunto de dados Whether2Deco, confirmamos que o ajuste permitiu que eles tomassem melhores decisões sobre quando decompor perguntas com base em sua complexidade.

#Análise Comparativa com Outros Métodos

Para garantir que nossa abordagem seja eficaz, comparamos nosso método de ajuste usando DecoVQA com métodos existentes, como estratégias unimodais de QD e técnicas de Aprendizado em Contexto (ICL). Nossos resultados mostraram que modelos usando a abordagem de ajuste se saíram significativamente melhor em tarefas de VQD em comparação com aqueles que dependiam de legendas ou métodos de aprendizado genéricos.

Ao dividir perguntas complexas em sub-perguntas diretamente ligadas a entradas visuais, nossos modelos utilizaram melhor as informações disponíveis nas imagens, levando a respostas mais precisas.

#Conclusão

Em resumo, nosso trabalho destaca a importância da Decomposição Visual de Perguntas para melhorar o desempenho de modelos multimodais. Estabelecemos uma nova estrutura de avaliação, realizamos avaliações completas em modelos populares e introduzimos um conjunto de dados único para ajuste.

As melhorias observadas nas capacidades de VQD após o ajuste destacam a eficácia de nossa abordagem. À medida que a pesquisa continua a evoluir, vemos potencial para novos desenvolvimentos em tornar os modelos multimodais mais habilidosos em lidar com perguntas visuais complexas, assim melhorando sua aplicação prática em cenários do mundo real.

Este estudo estabelece a base para pesquisas futuras na área, nos permitindo explorar decomposições de tarefas mais complexas e melhorar a utilidade dos modelos multimodais em vários contextos.