Avaliação de LLMs com o Benchmark PPTC-R

Modelos de Linguagem Grande (LLMs) estão sendo cada vez mais usados para ajudar as pessoas a concluir tarefas com base nas instruções dos usuários. Essa dependência levanta questões importantes sobre o quão bem esses modelos se saem em situações do mundo real, onde as tarefas podem ser complexas. Para avaliar melhor os pontos fortes e fracos dos LLMs, criamos um novo benchmark chamado PowerPoint Task Completion-Robustness (PPTC-R). Esse benchmark testa a habilidade dos LLMs de seguir tarefas relacionadas ao PowerPoint diante de vários desafios, como mudanças nas instruções do usuário e diferentes versões de software.

#Propósito do Benchmark

O principal objetivo do PPTC-R é avaliar quão robustos os LLMs são quando enfrentam diferentes tipos de desafios. Criamos instruções de usuário difíceis e manipulamos a versão do software para ver como esses fatores afetam o desempenho dos modelos. Instruções de usuário adversariais são configuradas para atrapalhar as habilidades de conclusão de tarefas dos LLMs. Nosso benchmark é único porque se concentra em como os LLMs interagem e chamam interfaces de programação de aplicativos (APIs) para concluir tarefas, o que é fundamental para usar LLMs em aplicações reais.

#Construindo o Benchmark

Para criar o benchmark PPTC-R, estabelecemos vários fatores para analisar o desempenho dos LLMs:

1. Instruções Adversariais: Criamos instruções de usuário complicadas que desafiam os limites do entendimento dos LLMs. Mudamos as instruções em diferentes níveis, como estrutura da frase, significado e linguagem.

2. Variações de Software: Ajustamos o número de APIs disponíveis para os LLMs para ver como isso impactava a capacidade deles de completar tarefas do PowerPoint. Isso simula tanto atualizações de software quanto possíveis falhas em versões anteriores.

3. Testando Vários LLMs: Selecionamos uma variedade de LLMs, tanto de código fechado quanto aberto, para ver como eles se comparavam nas mesmas condições.

#Criando Instruções Adversariais

Desenvolvemos três categorias de instruções adversariais:

1. Mudanças a Nível de Frase: Isso envolve adicionar frases não relacionadas dentro da instrução original. A intenção é confundir o LLM e ver se ele ainda completa a tarefa principal.

2. Mudanças Semânticas: Nesse caso, reformulamos a instrução original sem mudar seu significado. Isso testa a habilidade dos LLMs de entender várias frases que transmitem a mesma ideia.

3. Mudanças de Linguagem: Traduzimos a instrução original para várias idiomas. Isso avalia o quão bem os LLMs lidam com tarefas que não estão na sua língua principal.

#Variações de Versão de Software

Além de testar instruções adversariais, ajustamos a versão do software para ver como os LLMs se saíam em diferentes cenários.

1. Atualização de API: Adicionamos novas APIs para ver como os LLMs reagiam a comandos desconhecidos. Isso simula o que acontece quando o software é atualizado com novos recursos.

2. Redução de API: Limitamos as APIs disponíveis para ver como os LLMs se saíam quando não tinham todas as ferramentas necessárias para concluir as tarefas.

#Avaliando LLMs Usando o Benchmark

Testamos sete LLMs diferentes, incluindo populares como GPT-4 e ChatGPT, além de vários modelos de código aberto. A avaliação focou tanto em tarefas baseadas em turnos quanto em sessões.

• Avaliação Baseada em Turnos: Isso avalia um único passo no processo da tarefa. Verificamos quão bem os LLMs podiam completar instruções individuais.

• Avaliação Baseada em Sessão: Isso avalia como os LLMs lidam com várias instruções em uma única sessão. O desafio aqui é manter o controle das instruções passadas e integrá-las nas ações futuras.

#Principais Descobertas dos Testes

Nossas descobertas mostraram que o GPT-4 superou todos os outros modelos, especialmente em lidar com atualizações de software e tarefas multilíngues. No entanto, todos os LLMs mostraram desempenho reduzido ao enfrentar tarefas mais complexas ou quando múltiplos desafios apareciam de uma vez.

#Quedas de Desempenho

Notamos quedas significativas no desempenho em certas condições, especialmente quando:

• As instruções se tornaram excessivamente complicadas.
• Múltiplas línguas foram usadas.

A maioria dos LLMs teve dificuldades para acompanhar quando as instruções não eram diretas ou quando eram testados em avaliações baseadas em sessão em vez de turnos.

#Análise de Erros

Para entender melhor onde os LLMs falham, analisamos erros comuns:

1. Distração por Conversas Irrelevantes: Alguns modelos se distraíram por frases irrelevantes adicionadas durante a avaliação, levando-os a perder a instrução principal.

2. Chamada de APIs Inválidas: Em cenários onde as APIs eram limitadas, muitos LLMs tentaram usar APIs que não estavam disponíveis, resultando em resultados incorretos.

3. Interpretação Errada das Instruções: Tanto nas mudanças semânticas quanto nas de nível de frase, alguns LLMs interpretaram mal as instruções modificadas, fazendo com que escolhessem APIs inadequadas.

#Contribuições do Benchmark

O benchmark PPTC-R contribui para a compreensão do desempenho dos LLMs em aplicações práticas. Ele:

1. Oferece um método para avaliar a robustez de conclusão de tarefas em LLMs.
2. Fornece insights sobre as fraquezas dos modelos atuais, destacando áreas para melhoria.
3. Propõe uma nova forma de gerar conjuntos de dados adversariais que podem ajudar em pesquisas futuras.

#Trabalhos Relacionados

Benchmarks anteriores focavam principalmente em tarefas de linguagem natural mais simples, não abordando as complexidades do mundo real. Estudos anteriores analisaram como os LLMs reagem a comandos diretos, mas não avaliaram seu desempenho em cenários variados de conclusão de tarefas.

Acreditamos que, ao focar nas tarefas específicas necessárias para aplicações como o PowerPoint, podemos obter insights mais profundos sobre a utilidade dos LLMs, ampliando os horizontes do que esses modelos podem fazer.

#Direções para Pesquisas Futuras

O benchmark PPTC-R abre várias avenidas para novas pesquisas:

1. Expandindo Tipos de Tarefas: Pesquisas futuras podem ampliar a gama de tarefas para avaliar cenários mais complexos envolvendo diferentes softwares e ferramentas.

2. Identificando Mais Erros: Análises contínuas dos pontos de falha nos LLMs podem levar a melhores métodos de treinamento e designs de modelo.

3. Melhorando Capacidades Linguísticas: Dado as quedas de desempenho em tarefas não em inglês, a pesquisa deve se concentrar em aprimorar a compreensão e execução dos LLMs em línguas de baixo recurso.

#Limitações

Embora o benchmark PPTC-R seja robusto, ele tem limitações. Por exemplo, não avalia o impacto de diferentes tipos de conteúdo nos arquivos do PowerPoint. Mudanças nesses arquivos também podem influenciar o quão bem os LLMs se saem. Mais pesquisas são necessárias para criar tarefas que integrem essas variáveis para uma avaliação mais completa.

#Conclusão

O benchmark PPTC-R é um passo significativo na avaliação da robustez dos modelos de linguagem grande na conclusão de tarefas complexas. Ao examinar como esses modelos respondem a instruções adversariais e variações de software, podemos compreender melhor seu potencial e limitações. À medida que os LLMs se tornam mais integrados em tarefas do dia a dia, esse tipo de pesquisa será crucial para garantir que eles possam ajudar efetivamente os usuários em aplicações do mundo real.