CoAPT: Um Novo Método para Classificação de Imagens

CoAPT significa palavras de Atributo de Contexto em Ajuste de Prompt. Essa abordagem ajuda a melhorar a forma como classificamos imagens quando temos poucos ou nenhum exemplo de uma certa classe. O CoAPT introduz palavras extras que descrevem as características de cada classe, que são adicionadas aos prompts usados para o ajuste. Esse método pode ser facilmente adicionado a outras técnicas existentes que usam prompts.

As palavras descritivas que usamos são geradas por um grande modelo de linguagem. Ao usar essas palavras, criamos consultas de texto mais ricas que combinam melhor com as imagens em um sistema chamado CLIP. O CLIP ajuda a conectar texto e imagens para que possam ser comparadas de forma mais eficaz.

Durante o processo de treinamento, usamos soft prompts junto com uma rede especial que ajusta as características de cada imagem com base em como ela se relaciona com as consultas de texto. Nossos testes mostram que o CoAPT melhora significativamente a Classificação de Imagens em várias tarefas, incluindo quando tentamos classificar novas classes de imagens que não vimos antes.

#Importância dos Modelos de Visão-Linguagem

Modelos de visão-linguagem, como CLIP e ALIGN, tornaram muito mais fácil classificar imagens usando texto. Esses modelos aprendem comparando imagens e as palavras que as descrevem, o que ajuda a entender diferentes tarefas. Eles são treinados em grandes conjuntos de dados onde imagens são emparelhadas com descrições de texto.

Para a classificação de imagens, esses modelos criam descrições de texto de classes, geralmente começando com frases como “uma foto de um nome de classe.” Essas descrições são então combinadas com características da imagem para ajudar a classificar as imagens corretamente.

Uma das formas mais simples de adaptar esses modelos para tarefas específicas é ajustá-los. No entanto, esse método pode ser muito exigente em termos de recursos computacionais e pode remover algum conhecimento valioso que o modelo já aprendeu.

Recentemente, pesquisadores começaram a usar prompts extras com codificadores de modelo fixos. Esses prompts ajudam a melhorar a conexão entre pares de texto e imagem. Por exemplo, quando classificamos imagens com muito poucos exemplos (classificação de poucos exemplos), podemos usar dois tipos de prompts: hard prompts e soft prompts.

Hard prompts consistem em tokens de texto diretos criados a partir de palavras cuidadosamente selecionadas. Soft prompts, por outro lado, são tokens ajustáveis em um espaço complexo que são treinados por meio de aprendizado. Soft prompts podem potencialmente fornecer uma forma mais flexível de se adaptar às tarefas sem ter que criar manualmente um texto extenso.

A eficácia dos soft prompts depende muito de como eles são projetados e otimizados. Isso levou a muitos estudos investigando a melhor forma de configurar soft prompts para classificação de poucos exemplos.

#Visão Geral do Método CoAPT

CoAPT é um método projetado para aprimorar soft prompts ao adicionar hard prompts. A ideia principal é preencher os espaços vazios deixados no prompt após usar prefixos e soft prompts com palavras descritivas ligadas a uma classe específica.

Métodos existentes, como o CoOp, não aproveitam ao máximo a entrada de texto que podem usar. Ao adicionar hard prompts a esses slots vazios, o CoAPT pode melhorar a precisão das classificações.

O CoAPT é simples e pode ser facilmente integrado em vários sistemas de ajuste de prompt. Ele mostra melhorias consistentes em relação aos métodos existentes, especialmente em tarefas relacionadas à generalização, testes entre conjuntos de dados e adaptabilidade a novos domínios.

#Como Funciona o Aprendizado com Prompts

O aprendizado com prompts vem da abordagem de adicionar frases específicas às entradas de texto que instruem o modelo sobre o que fazer. Essa técnica permite que modelos de linguagem pré-treinados se ajustem a diferentes tarefas com apenas alguns exemplos.

Em modelos de visão-linguagem, hard prompts são usados para ver como um modelo pré-treinado se sai em várias tarefas. Alguns modelos usam soft prompts globais junto com a entrada para tarefas específicas. Outras variações definem soft prompts para certas entradas ou classes.

Pesquisadores examinaram várias maneiras de criar prompts de texto eficazes que melhoram como os modelos se adaptam em situações de poucos exemplos. Por exemplo, eles podem usar metadados como descrições de imagens ou conhecimentos pré-existentes sobre as classes para criar melhores prompts.

#O Processo CoAPT

O método CoAPT consiste em duas etapas principais. Primeiro, geramos palavras descritivas para cada classe usando um modelo de linguagem. Essa etapa é feita apenas uma vez. Em segundo lugar, durante o processo de aprendizado com prompts, combinamos essas palavras com os soft prompts e o token da classe.

Isso resulta em consultas de texto mais ricas que ajudam o modelo a avaliar melhor as imagens. Uma meta-rede processa essas consultas combinadas para ajustar ainda mais os resultados. O objetivo é afinar o foco nas classes corretas.

#Avaliando o CoAPT

A eficácia do CoAPT pode ser examinada de várias maneiras. Um método é a generalização base-para-nova, onde verificamos o quão bem um modelo pode generalizar seu aprendizado. Isso envolve dividir conjuntos de dados em classes que o modelo já viu antes (base) e classes que ele não viu (nova).

Na transferência entre conjuntos de dados, vemos como o modelo pode aplicar o que aprendeu a diferentes conjuntos de dados com novas classes. A generalização de domínio funciona de maneira semelhante, mas foca em estilos diferentes da mesma tarefa, como variar a aparência das imagens.

#Detalhes de Implementação

Para nossos experimentos, usamos um tipo específico de arquitetura de modelo, chamado ViT-B/16. Testamos nosso método ao fazer uma média dos resultados de várias execuções para garantir a confiabilidade. Para cada teste, geramos um conjunto de palavras descritivas usando um modelo de linguagem.

Ao compararmos os resultados do CoAPT com outros modelos, focamos em vários conjuntos de dados, incluindo ImageNet, Caltech101 e OxfordPets. Cada conjunto de dados tem suas características únicas, o que ajuda a avaliar quão bem o CoAPT funciona em diferentes tipos de dados.

#Comparações de Desempenho

Apresentamos resultados mostrando quão bem o CoAPT se sai em relação a modelos de base em várias tarefas. Os resultados para a generalização base-para-nova demonstram que adicionar CoAPT geralmente resulta em melhor precisão de classificação para classes conhecidas e desconhecidas.

Ao aplicar o CoAPT à tarefa de transferência entre conjuntos de dados, notamos melhorias no desempenho, particularmente ao usar um modelo base chamado PromptSRC. Isso sugere que a combinação de contexto aprimorado e o ajuste adequado de prompts pode levar a uma melhor adaptação a novos conjuntos de dados.

No entanto, também encontramos casos em que o CoAPT não melhorou o desempenho, especialmente com alguns modelos. Achamos que isso pode ser devido ao fato de as palavras de atributo conterem informações específicas que podem não ajudar em certas tarefas.

#Compreendendo Palavras de Atributo de Contexto

As palavras de atributo de contexto são essenciais pois preenchem as lacunas nos prompts que, de outra forma, teriam menos impacto. Usar um grande modelo de linguagem para gerar essas palavras significa que podemos substituir espaços vazios por descrições mais relevantes que melhoram o processo de classificação.

O processo de geração dessas palavras é baseado em um modelo simples que orienta o modelo de linguagem. Isso garante que produzamos consistentemente palavras de atributo úteis e relevantes em diferentes classes.

#Adaptando Consultas a Imagens

Às vezes, o contexto adicional das palavras de atributo pode ser muito geral, o que pode dificultar a forma como o modelo se alinha com características específicas da imagem. Abordamos isso adaptando as características do texto com base na imagem específica que está sendo classificada.

Isso permite uma melhor correspondência entre as características de texto e imagem, ajudando a melhorar a precisão da classificação.

#Usando Palavras de Atributo em Inferência

Ao gerar palavras de atributo, podemos notar que as saídas podem variar toda vez que as solicitamos. Durante o treinamento, podemos fixar o vocabulário para um único conjunto de saídas. No entanto, durante os testes, usamos múltiplos conjuntos e fazemos a média dos resultados para obter uma pontuação mais confiável.

Avalíamos o CoAPT em diferentes tarefas e conjuntos de dados para ver quão bem ele generaliza, visando melhorias na precisão.

#O Impacto do Número de Palavras de Atributo

Em nossos experimentos, descobrimos que o número de palavras de atributo de contexto afeta significativamente o desempenho. Usar mais palavras de atributo geralmente resulta em maior precisão em diferentes tarefas.

Nossos estudos mostraram que o melhor desempenho foi alcançado usando o máximo número de palavras de atributo, preenchendo completamente os slots de contexto disponíveis.

#Examinando Componentes do CoAPT

Para determinar como cada parte do CoAPT contribui para seu desempenho, testamos cada componente separadamente. A adição de atributos de contexto combinada com adaptações específicas da meta-rede mostrou as melhorias mais significativas.

Isso enfatiza ainda mais a flexibilidade do CoAPT, já que a integração com outros métodos nos permitiu alcançar alta precisão.

#Avaliação da Meta-Rede

Também analisamos diferentes configurações da meta-rede que ajusta as características de saída. Testamos várias maneiras de aplicar as saídas da meta-rede e descobrimos que adicionar um viés específico às consultas de texto levou aos melhores resultados.

Essa investigação destacou quão importante é escolher as operações certas para maximizar o desempenho dos ajustes que fazemos no modelo.

#Modelos de Linguagem para Geração de Atributos

Para analisar como diferentes modelos de linguagem afetam a qualidade das palavras de atributo, usamos vários modelos para gerar nossas palavras de contexto. Descobrimos que modelos maiores tendiam a produzir melhores palavras de atributo, o que ajudou na precisão da classificação.

Usar um modelo chamado GPT4-Vision, que também usa entradas de imagem, mostrou um aumento na precisão para classes novas. Isso sugere que as instruções de entrada fornecidas aos modelos podem orientá-los a criar palavras de atributo mais relevantes.

#Melhorando Palavras de Atributo

Fizemos uma análise qualitativa para ver como a substituição de palavras de um modelo por outro afetou o desempenho de classificação. Isso nos ajudou a identificar quais palavras específicas contribuíram positiva ou negativamente.

Ao focar em palavras geradas pelo GPT4-Vision, vimos melhorias notáveis em várias classes ao substituir palavras menos eficazes geradas pelo GPT4-Language.

No geral, ficou claro que palavras com características visuais claras tendem a funcionar melhor para tarefas de classificação.

#Conclusão

Em conclusão, apresentamos o CoAPT, um método que combina hard prompts com soft prompts para melhorar a classificação de imagens. Ao usar palavras de atributo de contexto, aprimoramos consultas de texto no modelo CLIP.

O CoAPT é fácil de implementar e pode ser adicionado a vários métodos existentes, levando a uma melhor alinhamento entre texto e imagens. Nossos experimentos confirmam que o CoAPT melhora significativamente a precisão em diferentes tarefas.

Os resultados mostram que entender quais palavras de atributo funcionam melhor pode levar a descobertas importantes sobre como texto e imagens interagem dentro de modelos pré-treinados. Pesquisas futuras devem continuar a explorar a geração de palavras de contexto ótimas para melhorar ainda mais a classificação.