Melhorando Sistemas de Classificação para Resultados de Busca Melhores
Um novo método de classificação de itens melhora a precisão nas buscas e recomendações.
Bhawna Paliwal, Deepak Saini, Mudit Dhawan, Siddarth Asokan, Nagarajan Natarajan, Surbhi Aggarwal, Pankaj Malhotra, Jian Jiao, Manik Varma
― 8 min ler
Índice
- O Problema com os Métodos de Classificação Atuais
- Nossa Solução Proposta: Modelagem Conjunta Eficiente
- Como Nossa Abordagem Funciona
- Vantagens do Novo Método de Classificação
- Visão Detalhada sobre Sistemas de Classificação
- Estado Atual da Classificação em Busca
- Entendendo o Processo em Duas Etapas
- A Arquitetura da Nossa Abordagem
- O Codificador
- Componente de Classificação
- Agrupamento Seletivo
- Validação Experimental da Nossa Abordagem
- Testes em Conjuntos de Dados Públicos
- Aplicações do Mundo Real
- Anúncios de Busca Patrocinados
- Recomendações para E-commerce
- Sistemas de Recuperação de Informação
- Conclusão
- Fonte original
- Ligações de referência
Classificar itens com base na relevância para uma busca é um desafio importante nas áreas de busca online e recomendações. Seja procurando um produto, um artigo ou um serviço, você quer ver as melhores opções primeiro. Mas muitos sistemas que estão por aí não consideram como os itens se relacionam, resultando em resultados menos precisos e desperdício de recursos computacionais.
Esse artigo apresenta uma abordagem inovadora de classificação que resolve esses problemas ao examinar vários itens ao mesmo tempo, em vez de um por um.
O Problema com os Métodos de Classificação Atuais
Nos sistemas de classificação tradicionais, os Modelos avaliam cada item de forma independente ao relacioná-lo a uma consulta. Embora os modelos baseados em transformadores sejam dos melhores disponíveis, eles muitas vezes ignoram as relações entre os itens que poderiam melhorar bastante a Precisão. Ao desconsiderar essas relações, a classificação pode ser ineficiente e menos útil para os usuários.
Um grande problema é o custo computacional mais alto. Avaliar cada item separadamente leva mais tempo e poder, dificultando a entrega rápida dos resultados, especialmente quando há muitos itens envolvidos.
Nossa Solução Proposta: Modelagem Conjunta Eficiente
Para enfrentar os desafios dos sistemas de classificação atuais, apresentamos um método conhecido como Cross-encoders com Modelagem Conjunta Eficiente, ou simplesmente, uma abordagem de classificação conjunta. Essa abordagem permite que os modelos considerem as conexões entre vários itens ao classificá-los para relevância em relação a uma consulta. Fazendo isso, conseguimos melhores resultados de precisão e também melhoramos a eficiência.
Como Nossa Abordagem Funciona
A ideia principal do nosso método é classificar vários itens juntos, em vez de um por um. Veja como funciona:
Classificação Conjunta: Em vez de avaliar itens individualmente, o modelo analisa todos os itens relevantes para uma consulta ao mesmo tempo. Isso permite que ele entenda melhor o contexto e forneça classificações mais relevantes.
Processamento Eficiente: O modelo aproveita os tokens sobrepostos entre os itens. Por exemplo, se dois itens contiverem palavras-chave semelhantes, eles podem ser processados juntos, acelerando o cálculo.
Objetivo de Treinamento Especial: Usamos uma nova forma de treinamento que ajuda o modelo a aprender probabilidades de classificação com base nas relações entre os itens em uma lista, em vez de apenas pontuações individuais.
Combinação de Recursos: A arquitetura do modelo é desenhada para capturar tanto a relação entre a consulta e os itens quanto as relações entre os próprios itens. Essa compreensão abrangente leva a melhores resultados.
Vantagens do Novo Método de Classificação
Esse método de classificação melhorado oferece várias vantagens:
Precisão Aprimorada: Ao considerar o contexto de todos os itens, o modelo consegue classificar melhor os itens, significando que os usuários veem as opções mais relevantes no topo dos resultados.
Menor Latência: O processamento eficiente significa que os usuários veem os resultados mais rápido. Essa velocidade é crucial em sistemas online onde os usuários esperam respostas imediatas.
Escalabilidade: Nosso modelo de classificação conjunta é projetado para lidar com grandes conjuntos de itens, podendo se adaptar facilmente a sistemas que precisam classificar milhares ou milhões de opções.
Aplicações Práticas: Esse método é relevante para várias aplicações, como recomendações de produtos, anúncios de busca patrocinados e categorização de informações.
Visão Detalhada sobre Sistemas de Classificação
Estado Atual da Classificação em Busca
Em muitas plataformas online, os sistemas de classificação são baseados em interações anteriores, popularidade ou correspondência de palavras-chave. No entanto, esses métodos tradicionais podem falhar. Muitas vezes, eles não consideram o que outros usuários acharam relevante, resultando em recomendações que podem não ser tão úteis.
Os usuários frequentemente veem anúncios ou produtos que podem não se relacionar bem com seus interesses reais. Essa ineficiência pode levar a uma má experiência do usuário, onde a pessoa sai rapidamente do site porque não encontra o que precisa.
Entendendo o Processo em Duas Etapas
Motores de busca tipicamente usam um processo em duas etapas para classificar:
Etapa de Recuperação: Aqui, o sistema reduz uma quantidade enorme de itens para poucos gerenciáveis com base nas consultas iniciais. Essa etapa filtra milhares ou milhões para algumas centenas de possibilidades.
Etapa de Classificação: A segunda etapa é onde esses itens selecionados são pontuados para relevância em relação à consulta original. Os itens então são exibidos de acordo com sua pontuação de relevância.
Nossa nova abordagem foca especialmente em melhorar a etapa de classificação, oferecendo um sistema melhor para pontuar e organizar itens.
A Arquitetura da Nossa Abordagem
A arquitetura do nosso modelo de classificação conjunta combina vários componentes para garantir que ele funcione eficientemente e de forma eficaz.
O Codificador
O codificador é uma parte-chave do modelo que processa a entrada, que consiste tanto na consulta do usuário quanto na lista de itens a classificar. Ao contrário dos modelos tradicionais que processam isso separadamente, nosso codificador considera os itens juntos em uma única passagem. Isso permite capturar as relações entre os itens enquanto também entende como cada item se relaciona com a consulta.
Componente de Classificação
Depois que o codificador gera representações contextuais dos itens e da consulta, um componente de classificação atribui pontuações com base nessas relações. Esse componente é treinado em conjunto com o codificador para garantir consistência e melhorar o processo de pontuação.
Agrupamento Seletivo
Uma camada de agrupamento seletivo combina as representações codificadas dos itens e da consulta, focando especificamente nos tokens relevantes. Isso ajuda a criar uma representação mais significativa que melhora a precisão da pontuação.
Validação Experimental da Nossa Abordagem
Para garantir que nosso método funcione como deveria, realizamos experimentos extensivos em vários conjuntos de dados públicos.
Testes em Conjuntos de Dados Públicos
Avalíamos nosso modelo em dois benchmarks significativos: SODQ (Stack Overflow Duplicate Questions) e MS MARCO. Os resultados mostraram que nossa abordagem consistentemente superou os métodos tradicionais, alcançando maior precisão e menor latência.
Precisão Média (MAP): Essa métrica mede quão bem o sistema classifica itens relevantes. Nosso modelo alcançou pontuações significativamente melhores em comparação com modelos existentes.
Classificação Recíproca Média (MRR): Isso indica quão alto na lista o primeiro item relevante aparece. Novamente, nossa abordagem levou a melhores resultados.
Essas avaliações confirmam que nosso método oferece uma maneira eficaz de classificar itens.
Aplicações do Mundo Real
Nosso método de classificação proposto não é só teórico; ele tem aplicações práticas que melhoram a experiência dos usuários em várias plataformas.
Anúncios de Busca Patrocinados
Em buscas patrocinadas, empresas pagam por anúncios que aparecem junto aos resultados de busca. A classificação precisa desses anúncios pode levar a um maior engajamento e taxas de conversão. Ao aplicar nosso método, as empresas podem garantir que seus anúncios sejam mais relevantes para os usuários, aumentando a eficácia.
Recomendações para E-commerce
Para sites de compras online, apresentar os produtos mais adequados aos usuários é crucial. Nosso modelo pode melhorar recomendações de produtos considerando como os itens estão relacionados, resultando em melhores vendas.
Sistemas de Recuperação de Informação
Em contextos como bancos de dados de bibliotecas ou enciclopédias online, como a Wikipedia, nosso método pode ajudar a fornecer resultados que correspondam melhor às consultas dos usuários. Isso garante que os usuários encontrem o que precisam sem ter que filtrar informações irrelevantes.
Conclusão
O modelo de classificação conjunta apresentado neste artigo representa um avanço significativo na forma como abordamos a relevância em sistemas de busca e recomendação. Ao repensar como pontuamos e classificamos itens, podemos fornecer resultados que são não apenas mais rápidos, mas também mais precisos e relevantes.
À medida que continuamos a aprimorar e desenvolver esse modelo, vemos potencial para mais inovações e adaptações em vários domínios. Este trabalho não só promove melhores experiências para os usuários, mas também apoia negócios em alcançar seus objetivos por meio de interações online mais eficazes.
O futuro dos sistemas de classificação é promissor, com nossa abordagem conjunta liderando o caminho para uma experiência online mais conectada e relevante.
Título: CROSS-JEM: Accurate and Efficient Cross-encoders for Short-text Ranking Tasks
Resumo: Ranking a set of items based on their relevance to a given query is a core problem in search and recommendation. Transformer-based ranking models are the state-of-the-art approaches for such tasks, but they score each query-item independently, ignoring the joint context of other relevant items. This leads to sub-optimal ranking accuracy and high computational costs. In response, we propose Cross-encoders with Joint Efficient Modeling (CROSS-JEM), a novel ranking approach that enables transformer-based models to jointly score multiple items for a query, maximizing parameter utilization. CROSS-JEM leverages (a) redundancies and token overlaps to jointly score multiple items, that are typically short-text phrases arising in search and recommendations, and (b) a novel training objective that models ranking probabilities. CROSS-JEM achieves state-of-the-art accuracy and over 4x lower ranking latency over standard cross-encoders. Our contributions are threefold: (i) we highlight the gap between the ranking application's need for scoring thousands of items per query and the limited capabilities of current cross-encoders; (ii) we introduce CROSS-JEM for joint efficient scoring of multiple items per query; and (iii) we demonstrate state-of-the-art accuracy on standard public datasets and a proprietary dataset. CROSS-JEM opens up new directions for designing tailored early-attention-based ranking models that incorporate strict production constraints such as item multiplicity and latency.
Autores: Bhawna Paliwal, Deepak Saini, Mudit Dhawan, Siddarth Asokan, Nagarajan Natarajan, Surbhi Aggarwal, Pankaj Malhotra, Jian Jiao, Manik Varma
Última atualização: 2024-09-15 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2409.09795
Fonte PDF: https://arxiv.org/pdf/2409.09795
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.