Apresentando a Máscara de Atenção Aprendível para Tarefas Multimodais

O método de Auto-Atenção em modelos como Transformers tem mostrado bons resultados em várias áreas. No entanto, ele enfrenta dificuldades em tarefas que envolvem diferentes tipos de dados, como combinar texto, imagens e áudio. Isso acontece principalmente porque cada pedaço de dado (ou token) pode ter um nível de detalhe diferente, e processar sequências longas pode exigir muito poder computacional.

Para resolver esse problema, apresentamos um método chamado Máscara de Atenção Aprendível (LAM). O objetivo é ajudar o modelo a focar nos Tokens mais importantes de uma sequência enquanto gerencia como a atenção é distribuída entre eles. Ao integrar a LAM com um modelo de transformer parecido com o BERT, conseguimos capturar melhor as conexões entre os vários tokens. A versão de múltiplas camadas da LAM pode lidar com os tipos distintos de informação presentes em diferentes camadas do transformer.

Nossos experimentos em vários conjuntos de dados, incluindo MADv2, QVHighlights, ImageNet 1K e MSRVTT, mostram que a LAM pode melhorar o desempenho e reduzir cálculos desnecessários. Essa abordagem é particularmente útil para entender cenários complexos, como analisar cenas de filmes.

#Contexto

Os avanços em deep learning nos permitiram lidar com tarefas complicadas que envolvem diferentes tipos de informação. Uma dessas tarefas é entender cenas de filmes, onde os modelos devem extrair insights significativos de vídeos, imagens, áudio e texto.

Por exemplo, em uma cena de filme, os tokens de vídeo e áudio se alinham ao longo do tempo, mas as associações entre esses tokens podem variar bastante. O mecanismo de atenção atual nos modelos é bom em capturar relações locais, mas tem limitações com tipos de dados diversos. Diferentes tipos de dados podem apresentar informações de maneiras únicas, causando possíveis problemas. Por exemplo, um token de áudio pode se relacionar com vários tokens de vídeo, e sequências mais longas aumentam as demandas de processamento, dificultando a gestão de tudo pelo modelo.

#Máscara de Atenção Aprendível (LAM)

A LAM foi projetada para criar máscaras dinamicamente que ajudam a regular a atenção entre diferentes tokens em uma sequência. Reconhecemos que nem todos os tokens têm a mesma importância. Embora existam trabalhos anteriores focando em máscaras dinâmicas, pouco se deu atenção a esse conceito no campo de visão computacional, o que nos motivou a analisar o impacto da máscara de tokens em tarefas visuais.

Usando a LAM, conseguimos inspecionar cada token de entrada e priorizar tokens com base em sua importância. Essa máscara adaptativa pode se encaixar facilmente em modelos de transformer existentes, tornando-a uma opção flexível para várias aplicações. Dada a popularidade dos modelos de transformers, os pesquisadores podem se beneficiar da integração da LAM sem muito esforço.

A LAM pega uma sequência de tokens como entrada e gera uma máscara. Essa máscara pode ser aplicada em todas as camadas do transformer ou ajustada para camadas individuais. Essa flexibilidade permite diferentes estratégias de gerenciamento de atenção.

Os scores de atenção produzidos pelo modelo podem ser ajustados usando a máscara gerada, permitindo que tokens específicos sejam destacados ou diminuídos. Observando que cada camada da rede transformer captura informações diferentes, nos motiva a colocar a LAM em cada camada, criando uma versão de múltiplas camadas.

#Validação Experimental

Validamos a eficácia do nosso método através de vários experimentos. Primeiro, testamos a LAM de múltiplas camadas em configurações multimodais, focando especificamente na geração de descrições de áudio usando o conjunto de dados MADv2. Também aplicamos a LAM para tarefas de recuperação de momentos e detecção de destaques usando o conjunto de dados QVHighlights, que combina entradas de texto e vídeo. Além disso, mostramos que a LAM pode melhorar o desempenho em tarefas de única modalidade, como classificação de imagens no ImageNet 1K e legendagem de vídeos no MSRVTT.

Embora os ganhos em tarefas de única modalidade tenham sido modestos, a LAM de múltiplas camadas demonstrou sua versatilidade em múltiplos cenários. Também analisamos como a máscara gerada impacta o gerenciamento de atenção.

#Realizações

Oferecemos três contribuições principais:

1. Introduzimos a Máscara de Atenção Aprendível (LAM) para priorizar tokens significativos em sequências complexas. Ao ajustar os mapas de atenção, a LAM visa otimizar o desempenho em tarefas difíceis de processamento de sequências. Seu design modular permite uma fácil integração com modelos de transformer existentes.

2. Através de testes rigorosos em vários benchmarks, destacamos a eficácia da LAM, especialmente com codificadores multimodais.

3. Examinamos o impacto da LAM na distribuição de pesos de atenção, fornecendo insights qualitativos sobre seu comportamento.

#Trabalho Relacionado

#Transformers Multimodais

Estudos anteriores em cenários multimodais focaram principalmente em aprendizado contrastivo, que alinha diferentes tipos de dados como imagens e texto. Pesquisas recentes estão cada vez mais se concentrando em como fundir modalidades diversas dentro de um espaço unificado usando camadas de atenção cruzada. Nossa escolha de usar um transformer Multimodal vem da sua capacidade de integrar diferentes tipos de informações, permitindo uma compreensão mais rica dos dados de entrada.

#Modelos de Linguagem para Descrição de Vídeo

Adaptamos um grande modelo de linguagem para gerar descrições de áudio incorporando um módulo adaptador. Esse módulo processa características audiovisuais e as prepara para o modelo de linguagem. A ideia de treinar um adaptador já foi explorada no passado, mas nosso método melhora as abordagens existentes ao incluir tanto características de áudio quanto de vídeo.

#Máscara de Atenção

Na processamento de linguagem natural, vários métodos para criar máscaras de atenção foram estudados. No entanto, essa área não recebeu muita atenção na visão computacional. Essa falta de exploração nos motivou a investigar as implicações dos métodos de máscara, especialmente em contextos multimodais.

#Implementação da Máscara de Atenção Aprendível

Nosso objetivo é criar uma Máscara de Atenção Aprendível que identifique e priorize tokens com base em sua importância. Esse mecanismo adaptável pode ser integrado em Codificadores Transformer existentes. O módulo LAM processa a sequência completa de tokens e gera uma máscara para cálculos de atenção.

Na auto-atenção, o tamanho da máscara é determinado pelo comprimento da sequência de entrada. Na atenção cruzada, o tamanho da máscara depende dos comprimentos dos tensores de Consulta e Chave.

As máscaras geradas podem ser usadas globalmente em todo o modelo ou ajustadas com base na profundidade da camada. Isso permite estratégias de atenção focada em diferentes pontos do modelo, aumentando sua versatilidade.

#Tarefas Multimodais e de Única Modalidade

#Geração de Descrição de Áudio

Na geração de descrições de áudio, nosso objetivo é transformar o conteúdo audiovisual de um longo clipe de filme em descrições textuais. Cada clipe tem tokens visuais e de áudio, e nossa tarefa é traduzir isso em uma narrativa coerente para pessoas com deficiência visual.

Para processar dados audiovisuais, usamos um modelo de transformer multimodal que lida com as relações entre os fluxos de vídeo e áudio. Quando recebemos uma sequência de entrada, o modelo estima a probabilidade da próxima palavra com base nos dados de treinamento.

#Recuperação de Momentos e Detecção de Destaques

Nas tarefas de recuperação de momentos, avaliamos quão bem o modelo pode identificar momentos específicos em um vídeo com base em uma consulta em linguagem natural. Processando representações de vídeo e texto, classificamos os momentos identificados por scores de confiança.

#Classificação de Imagens

Na classificação de imagens, o objetivo é categorizar uma imagem de entrada em classes pré-definidas. Nosso modelo prevê rótulos de classe e scores de confiança correspondentes para determinar as verdadeiras classes presentes na imagem de entrada.

#Legendagem de Vídeo

Para a legendagem de vídeo, o objetivo é produzir uma descrição textual de um vídeo. O modelo gera uma legenda que reflete com precisão o conteúdo e os eventos do vídeo.

#Conclusões e Trabalho Futuro

Em resumo, introduzimos a Máscara de Atenção Aprendível (LAM) para enfrentar as limitações dos mecanismos de atenção em tarefas multimodais. A LAM permite que o modelo gerencie melhor a atenção entre diferentes tipos de dados, enquanto reduz cálculos desnecessários. Embora nossos resultados em configurações multimodais tenham mostrado melhorias significativas, há potencial para um desempenho melhor ao incorporar contexto adicional durante a inferência. Pesquisas futuras podem construir sobre nossas descobertas para aprimorar ainda mais a compreensão e a aplicação dos mecanismos de atenção em vários cenários.