Melhorando as Recomendações de Artigos no PubMed

Encontrar artigos relacionados é importante para pesquisadores e profissionais de saúde. Quando estão procurando por papers científicos, é comum buscar por artigos que são parecidos com um artigo de referência. O PubMed é um motor de busca popular para literatura biomédica que tem uma função que sugere artigos similares com base no que você está lendo. Porém, muitos usuários querem saber por que essas sugestões estão sendo feitas.

Com milhões de estudos biomédicos publicados todo ano, oferecer explicações para os artigos sugeridos pode ajudar os usuários a encontrar informações relevantes mais rápido. Infelizmente, a maioria dos sistemas de recomendação não explicam suas sugestões. Este artigo apresenta um novo método para fornecer explicações melhores para artigos recomendados usando dados de Comportamento do Usuário do PubMed.

#A Importância das Recomendações

Quando os usuários encontram um artigo interessante no PubMed, eles costumam querer explorar outros artigos sobre tópicos similares. A seção de "artigos similares" lista esses artigos relacionados, o que pode ser muito útil. Para cada artigo, o PubMed mostra alguns dos artigos similares mais relevantes, e os usuários podem ver uma lista mais extensa se quiserem.

Essa função é importante pois ajuda os usuários a se aprofundar em um determinado assunto sem precisar começar uma nova busca. De fato, estudos mostram que assim que os usuários começam a explorar artigos relacionados, eles tendem a passar um tempo significativo fazendo isso. Então, entender como as recomendações funcionam e ver explicações para elas ajudaria os usuários a encontrar as informações que precisam de forma mais eficiente.

#Por Que Explicações São Importantes

Os usuários costumam querer saber por que certos artigos são sugeridos a eles. A recomendação pode ser baseada em várias razões, como palavras-chave compartilhadas ou artigos que foram frequentemente clicados juntos. Explicações podem ajudar os usuários a identificar quais artigos sugeridos são mais relevantes para seus interesses específicos.

Atualmente, os usuários geralmente têm que passar pelos artigos sugeridos e avaliar sua relevância por conta própria, o que pode ser um processo tedioso. Se a recomendação de um artigo vier com uma explicação de como ele se relaciona com o artigo que o usuário está lendo, isso poderia tornar a busca por literatura relevante muito mais rápida e gerenciável.

#Como Construímos Nosso Conjunto de Dados

Para ajudar a explicar as recomendações de artigos, criamos um conjunto de dados especial chamado PubCLogs. Coletamos dados sobre como os usuários interagem no PubMed, focando especialmente em pares de artigos que os usuários clicam juntos. Nossa hipótese é que se um usuário vê um artigo e depois clica em outro, esses dois artigos provavelmente são semelhantes de alguma forma.

Para construir nosso conjunto de dados, coletamos cliques dos usuários em artigos ao longo de vários anos. Emparelhamos os artigos com base no comportamento do usuário quando eles clicavam um após o outro. A partir desses dados, criamos pares de artigos, que rotulamos com base nas pesquisas que levaram a esses cliques. Acabamos com milhões de pares de artigos, que filtramos para manter a qualidade.

#Treinando o Modelo HSAT

Usando o PubCLogs, treinamos um modelo chamado HSAT para destacar palavras importantes nos títulos dos artigos similares sugeridos. O trabalho do modelo é pegar o título e o resumo do artigo inicial e identificar as palavras mais relevantes no título do artigo similar.

Testamos o desempenho do HSAT contra outros modelos estabelecidos e descobrimos que ele teve um desempenho significativamente melhor. Ele se destacou em identificar partes relevantes dos títulos dos artigos em comparação com esses outros modelos.

#Análise de Dados

Depois de filtrar os dados iniciais, ficamos com um número substancial de pares de artigos. O comprimento médio do título de cada artigo era em torno de 17,5 tokens, e o tamanho do nosso conjunto de dados diminuiu de vários gigabytes para um tamanho mais gerenciável após a filtragem. Esse processo de filtragem nos ajudou a manter dados de alta qualidade enquanto descartamos entradas que não forneceram informações úteis.

#Avaliando o Desempenho do HSAT

Avalíamos o HSAT usando tanto um conjunto de dados de teste feito a partir do PubCLogs quanto um conjunto menor anotado manualmente. O último contém pares de artigos escolhidos à mão que foram avaliados quanto à sua relevância. O HSAT se saiu bem em ambas as avaliações, mostrando que poderia destacar efetivamente tokens relevantes nos títulos de artigos similares.

Também realizamos estudos com usuários para ver se as pessoas preferiam a saída do HSAT em comparação com a de modelos maiores como o GPT-4. Os resultados mostraram que os usuários favoreciam o HSAT pela sua clareza e qualidade.

#Estudos com Usuários e Preferências

Em nosso estudo com usuários, duas pessoas que conhecem bem tópicos biomédicos ranquearam a saída fornecida pelo HSAT em relação à do GPT-4. Ambos os participantes mostraram uma clara preferência pelas saídas do HSAT, achando-as mais sucintas e informativas. Isso destaca que o HSAT tem uma utilidade valiosa na hora de fornecer recomendações.

#Estudos de Caso

Apresentamos vários casos para ilustrar como o HSAT e outros modelos se saem ao recomendar artigos. Nesses exemplos, comparamos quão bem diferentes modelos selecionaram tokens relevantes de títulos de artigos similares. Os resultados mostraram que enquanto modelos mais simples podem escolher palavras irrelevantes, o HSAT consistentemente escolheu tokens valiosos e informativos.

#O Papel dos Dados de Clique

Um dos aspectos críticos da nossa abordagem é o uso de dados de clique das interações dos usuários. Analisando quais artigos os usuários clicaram juntos, conseguimos desenvolver uma melhor compreensão da relação entre eles. Essa abordagem orientada por dados permite que nosso modelo aprenda com o comportamento real dos usuários, criando recomendações que estão mais alinhadas com o que os pesquisadores realmente buscam.

#Direções Futuras

Embora o HSAT mostre potencial, há áreas para melhoria. Muitas buscas no PubMed envolvem tópicos menos comuns que podem não estar bem representados em nosso conjunto de dados. Portanto, explorar maneiras de incluir esses tópicos menos frequentes poderia melhorar o desempenho do HSAT.

Além disso, os usuários têm diferentes níveis de conhecimento prévio e objetivos de busca. Personalizar mais as recomendações poderia ser um objetivo futuro para o modelo.

#Conclusão

Em conclusão, desenvolvemos um novo método para explicar recomendações de artigos destacando tokens relevantes em títulos. Aproveitando os dados de interação dos usuários do PubMed, criamos um conjunto de dados que nos permite treinar um modelo eficaz. O sucesso do HSAT em superar modelos existentes demonstra o valor dos dados de comportamento do usuário na melhoria das buscas literárias, facilitando o acesso à informação que pesquisadores e profissionais de saúde precisam.