PE-Rank: Uma Nova Abordagem para Reclassificação de Passagens

Estudos recentes mostram que grandes modelos de linguagem (LLMs) conseguem classificar passagens de forma eficaz. Métodos listwise, como o RankGPT, estabeleceram novos padrões nessa área. No entanto, o RankGPT enfrenta limites devido ao seu comprimento máximo de contexto e à latência mais alta durante a inferência. Este artigo apresenta o PE-Rank, que usa embeddings de passagens únicas para uma melhor compressão de contexto na reclassificação listwise. Ao tratar cada passagem como um token especial, conseguimos inserir esses embeddings nos LLMs, reduzindo o comprimento da entrada. Também apresentamos uma técnica de inferência que muda o espaço de decodificação para esses tokens especiais, acelerando a decodificação. Para o treinamento, aplicamos perda de aprendizado listwise para classificação. A avaliação em vários benchmarks mostra que o PE-Rank melhora a eficiência, mantendo bons resultados de Ranking.

#Contexto

A classificação de passagens é vital em muitas aplicações, incluindo busca na web. O método comum é "recuperar e depois reclassificar", onde um conjunto de candidatos é primeiro recuperado e depois reclassificado para melhores resultados. Na fase de recuperação, modelos densos usando uma estrutura de bi-encoder são populares. Esses modelos codificam texto em embeddings de baixa dimensão, capturando relevância semântica por meio da similaridade de vetores.

#Comparação entre RankGPT e PE-Rank

O RankGPT usa passagens completas e fornece saídas ordenadas. Em contraste, o PE-Rank usa uma lista de tokens especiais tanto para entrada quanto para saída, como mostrado em seus resultados de reclassificação. Durante a fase de reclassificação, podemos aplicar modelos mais avançados para melhorar a performance. LLMs, como o GPT-4, também foram testados para reclassificação zero-shot, com métodos listwise como o RankGPT alcançando um desempenho notável ao gerar uma lista final de classificação para várias passagens.

#Desafios com Abordagens Listwise

Embora eficazes, esses métodos enfrentam desafios. Primeiro, os LLMs são limitados pelo comprimento do contexto, tornando difícil classificar várias passagens de uma vez. Em segundo lugar, incluir passagens inteiras nos prompts aumenta os custos de inferência e latência. Assim, comprimir prompts listwise é crucial. Métodos existentes de compressão de contexto tendem a ter baixas taxas de compressão e focam em passagens únicas, tornando-os inadequados para necessidades de classificação.

#Proposta do PE-Rank

O PE-Rank usa embeddings de passagens únicas como representações comprimidas. Obtemos esses embeddings de um modelo de recuperação densa e substituímos as entradas de texto originais por eles. Em seguida, conectamos o modelo de recuperação aos LLMs usando um projetor. O PE-Rank se adapta à tarefa de classificação por meio de novos métodos de inferência e treinamento. Para uma inferência eficaz, usamos "Decodificação Dinâmica Constrangida", ajustando os espaços de decodificação para incluir apenas tokens especiais para classificação.

#Avaliação

O PE-Rank foi avaliado nos benchmarks TREC DL e BEIR. Os resultados mostram que ele mantém um desempenho competitivo em comparação com métodos descomprimidos, enquanto melhora significativamente a eficiência. Notavelmente, ao reclassificar os 100 melhores candidatos do BM25 no DL19, a degradação no desempenho foi inferior a 2%, enquanto a latência foi reduzida em 4,5 vezes.

#Conclusão

Apresentamos o PE-Rank como uma abordagem nova e eficaz para reclassificação listwise de passagens, aproveitando embeddings para compressão de contexto. As avaliações mostram desempenho competitivo e ganhos consideráveis em eficiência, marcando um passo significativo na área de classificação.

#Trabalhos Futuros

Este trabalho tem limitações, incluindo a necessidade de embeddings de passagens e decodificação dinâmica, que adicionam complexidade e uso de memória. Além disso, usar diferentes modelos de embedding requer ajustes finos tanto do MLP quanto do LLM. Pesquisas futuras poderiam buscar uma abordagem mais simples, permitindo o uso apenas do MLP. Por fim, os modelos usados neste estudo eram relativamente pequenos, e uma investigação adicional é necessária para entender como modelos maiores podem afetar os métodos propostos.