O que significa "APT"?

Índice

Adversarial Prompt Tuning (APT) é um novo método que busca deixar os modelos de visão-linguagem (VLMs) mais fortes contra aquelas entradas complicadas que tentam confundir eles. VLMs, como o CLIP, fazem várias tarefas bem, mas muitas vezes fazem feio quando encaram esses exemplos difíceis.

O APT foca em como a forma das prompts pode mudar o quão bem esses modelos se saem. Ajustando com cuidado as prompts, o APT ajuda os modelos a ficarem mais resistentes a ataques. Esse método se destaca porque é rápido e precisa de menos dados em comparação com outras técnicas.

Testes mostram que o APT pode melhorar bastante a precisão dos modelos e a habilidade deles de lidar com desafios. Só de adicionar uma palavra especial nas prompts, o APT consegue aumentar a precisão em cerca de 13% e deixar o modelo mais robusto em torno de 8,5% em média. Em alguns casos, essas melhorias podem ser ainda maiores.

No geral, o APT oferece uma forma simples mas eficaz de ajudar os modelos a enfrentar melhor os desafios adversariais, enquanto mantêm um bom desempenho em várias tarefas.