Classificação de Qualquer Granularidade: Uma Nova Abordagem para Recuperação de Informação

Ranking é uma área chave na tecnologia de busca. Envolve decidir quais pedaços de informação são os mais relevantes para a pergunta de um usuário. Muitas vezes, os métodos de ranking atuais só permitem itens completos, como parágrafos inteiros de texto. Essa abordagem rígida pode ser limitante para tarefas que poderiam se beneficiar de resultados mais específicos ou detalhados. Por exemplo, encontrar a melhor resposta para uma pergunta pode exigir olhar para frases individuais em vez de parágrafos inteiros.

Este artigo discute um novo método chamado ranking de qualquer granularidade. Esse método usa embeddings de múltiplos vetores, permitindo uma classificação flexível em diferentes níveis de detalhe enquanto precisa de apenas um nível de codificação de informação. Isso é útil em várias aplicações, como responder perguntas ou atribuir fatos, onde encontrar detalhes específicos pode melhorar o desempenho geral.

#Ranking Tradicional vs. Ranking de Qualquer Granularidade

Sistemas de ranking tradicionais funcionam pegando uma consulta e associando-a a unidades de recuperação completas, como parágrafos ou artigos. Esses sistemas costumam depender de bancos de dados densos construídos para essas unidades de recuperação específicas. Isso significa que, se você quiser classificar algo em um nível mais fino, como frases, precisa de um novo conjunto de dados só para isso. Essa falta de flexibilidade pode prejudicar o desempenho em algumas áreas onde uma classificação precisa poderia gerar melhores resultados.

O ranking de qualquer granularidade muda isso ao permitir que os usuários classifiquem diferentes níveis de informação sem precisar criar novos bancos de dados para cada nível. Ele mantém um único nível de codificação, mas ainda pode fornecer classificações em vários níveis de granularidade. O novo método melhora a capacidade de classificar frases, proposições ou até pedaços menores de informação quando necessário.

#Como Funcionam as Abordagens de Múltiplos Vetores

Em sistemas de recuperação densa típicos, um único vetor é criado para cada consulta e passagem. Esse vetor serve como uma representação daquela informação. A classificação é geralmente feita através de um simples produto escalar entre esses vetores, indicando quão relevante um pedaço de informação é para outro.

As abordagens de múltiplos vetores diferem disso criando múltiplos vetores para cada consulta e passagem. Esses vetores representam interações mais detalhadas entre cada token (palavra) tanto na consulta quanto na passagem. Ao analisar esses vetores mais de perto, sistemas de múltiplos vetores podem fornecer resultados mais sutis, mostrando assim um desempenho de classificação melhorado.

#Avaliação em Diferentes Níveis

Um benefício significativo da abordagem de múltiplos vetores é sua capacidade de gerar pontuações para tokens individuais dentro de uma passagem. Isso permite que o sistema avalie quão bem cada parte de uma passagem corresponde à consulta de um usuário. Por exemplo, se uma consulta pede informações específicas sobre mudanças climáticas, o modelo pode identificar não apenas a passagem mais relevante, mas também a frase específica dentro dessa passagem que contém a melhor resposta.

Nas abordagens tradicionais, essa pontuação focada geralmente não é possível. Um único vetor representa toda a passagem, o que significa que distinções mais finas dentro daquela passagem se perdem. Usando métodos de múltiplos vetores, podemos classificar em vários níveis de detalhe, o que é especialmente benéfico para aplicações como resposta a perguntas de domínio aberto.

#Introduzindo o Método de Ranking de Qualquer Granularidade (AGRaME)

AGRaME é uma nova abordagem que usa embeddings de múltiplos vetores para permitir uma classificação flexível. Esse método possibilita a classificação em diferentes níveis de detalhe sem precisar ajustar como a informação é codificada. O objetivo é melhorar a capacidade de classificar informações, permitindo que o sistema decomponha dados em pedaços menores e mais relevantes.

Uma característica chave do AGRaME é a introdução de uma nova perda contrastiva durante o treinamento. Isso permite uma melhor supervisão ao aprender a classificar em vários níveis. O método não só foca em encontrar a melhor passagem para uma consulta, mas também treina o modelo para selecionar a frase mais relevante dentro daquela passagem, assim melhorando a qualidade geral da classificação.

#Avaliando Abordagens de Múltiplos Vetores

Para testar como esses métodos funcionam, os pesquisadores realizaram experimentos usando modelos existentes como o ColBERTv2. Eles compararam os resultados quando a codificação estava em níveis diferentes, como nível de passagem versus nível de frase. Surpreendentemente, o desempenho muitas vezes era significativamente pior ao codificar em um nível mais alto e tentar classificar em um nível mais fino. Esses resultados mostram a importância de usar níveis de codificação apropriados para os melhores resultados de classificação.

O método de treinamento também demonstrou que incorporar supervisão adicional de nível de frase poderia melhorar as classificações em níveis mais finos enquanto ainda mantinha um alto desempenho no nível de passagem. Essa flexibilidade torna possível adaptar o sistema com base nas necessidades específicas de diferentes consultas.

#Aplicação do Ranking em Nível de Proposição

Em situações específicas, há uma demanda por níveis mais finos de detalhe na recuperação de dados. Por exemplo, o ranking em nível de proposição pode ajudar a encontrar fatos relevantes para apoiar alegações específicas feitas em uma frase. Isso é essencial para tarefas de atribuição nas quais os usuários precisam fornecer evidências para informações incluídas em textos gerados.

A capacidade do AGRaME de classificar nesse nível leva a um melhor desempenho na identificação de proposições relevantes que precisam de evidências de apoio. Isso é particularmente útil em áreas como verificação de fatos ou geração de textos bem fundamentados em resposta a consultas.

#Adição de Citação Pós-Hoc: PropCite

Uma aplicação prática do AGRaME envolve o PropCite, um método para adicionar citações ao texto gerado. Quando um sistema gera uma resposta a uma pergunta, ele pode incluir citações para respaldar as informações fornecidas. O PropCite utiliza as proposições identificadas no texto gerado para buscar passagens relevantes e adicionar citações de forma eficaz.

Esse método opera de maneira 'pós-hoc', o que significa que as citações são adicionadas depois que o texto foi gerado. Isso difere dos métodos tradicionais que exigem que os modelos sejam solicitados a incluir citações durante o processo de geração. Fazendo isso, o PropCite se mantém adaptável e pode funcionar com qualquer estrutura que use geração aumentada por recuperação.

#Avaliação da Qualidade das Citações

Para entender como o PropCite se sai, os pesquisadores avaliaram a qualidade das citações adicionadas ao texto. Eles consideraram várias métricas, como precisão e recall, para avaliar quão precisamente as citações apoiavam o conteúdo gerado. Os resultados mostraram que usar o PropCite resultou em uma qualidade de citação significativamente maior em comparação com métodos tradicionais.

O PropCite ajuda a garantir que as citações sejam diretamente relevantes e valiosas para o leitor, tornando o texto gerado mais confiável e informativo.

#Conclusão

Resumindo, o AGRaME oferece uma solução flexível para classificar informações em diferentes níveis enquanto usa uma única codificação. O uso de embeddings de múltiplos vetores permite um melhor desempenho em várias aplicações, especialmente quando precisão é necessária. Ao aprimorar a capacidade de pontuar tokens e proposições individuais, o AGRaME melhora o ranking em campos como resposta a perguntas de domínio aberto e tarefas de atribuição.

Além disso, a introdução do PropCite demonstra os benefícios práticos desses avanços, permitindo uma qualidade de citação aprimorada no texto gerado. No geral, essas inovações abrem caminho para tecnologias de busca mais eficazes e responsivas que podem se adaptar às necessidades dos usuários e a consultas específicas.