Aprimorando o Acesso ao Conhecimento Acadêmico com IA

#Introdução

A comunicação acadêmica tá crescendo rápido e tá cheia de conhecimento importante. Mas, a maior parte desse conhecimento tá em documentos que não são fáceis de pesquisar ou usar de forma eficiente. Métodos tradicionais pra encontrar informações nesses documentos nem sempre funcionam bem por conta dos formatos complexos. Pra resolver isso, os pesquisadores começaram a usar Grafos de Conhecimento acadêmico. Esses grafos ajudam a representar documentos de um jeito que facilita encontrar informações, mostrando as conexões entre diferentes pedaços de conhecimento.

Usando sistemas de perguntas e respostas com esses grafos de conhecimento, a gente consegue deixar o conhecimento acadêmico mais acessível pra todo mundo. Mas, algumas informações nessa área ainda tão em texto simples, o que cria a necessidade de uma abordagem mista que combine Dados Estruturados dos grafos de conhecimento com Dados Não Estruturados do texto.

Esse artigo apresenta uma abordagem em duas etapas usando um tipo específico de modelo de inteligência artificial pra responder perguntas relacionadas a dados acadêmicos. Nosso método primeiro puxa o contexto relevante de diferentes fontes e depois melhora como a informação é apresentada pro modelo de IA pra um desempenho melhor.

#Contexto sobre Grafos de Conhecimento

O conhecimento acadêmico geralmente aparece na forma de artigos e tá se expandindo rapidão. Esses artigos têm informações valiosas que podem ser difíceis de extrair automaticamente. Eles costumam ter uma mistura de dados estruturados e não estruturados.

Pra ajudar a entender essas informações, vários grafos de conhecimento acadêmico foram criados. Esses grafos representam o conhecimento de um jeito estruturado, tornando-o legível por máquina e mais fácil de usar pra outras pesquisas. Vários grafos bem conhecidos, como DBLP e OpenAlex, tão ficando populares pra essa finalidade.

Os grafos de conhecimento funcionam conectando diferentes conceitos e mostrando como eles se relacionam. Isso ajuda a organizar o conhecimento e revela relações entre várias ideias. Usando esses grafos, a gente consegue criar sistemas que respondem perguntas sobre dados acadêmicos de forma mais eficiente.

#O Problema com Métodos Tradicionais

Os métodos tradicionais pra encontrar informações em artigos acadêmicos muitas vezes deixam a desejar. Eles nem sempre revelam novas percepções ou conexões porque focam na estrutura dos documentos em vez do significado por trás dos dados. É aí que os grafos de conhecimento acadêmico têm um papel crucial.

Enquanto os grafos de conhecimento oferecem uma forma estruturada de representar informações, ainda existe conhecimento acadêmico em texto simples. Sistemas tradicionais podem ter dificuldades em combinar esse texto com os dados estruturados que tão nos grafos de conhecimento.

#Abordagem Híbrida de Perguntas e Respostas

Pra abordar esses problemas, desenvolvemos uma estratégia em duas etapas pra responder perguntas usando fontes de dados estruturadas e não estruturadas. Nossa abordagem usa grandes modelos de linguagem pra entender essas informações.

#Etapa 1: Extração de Contexto

A primeira parte da nossa abordagem envolve reunir contexto de várias fontes. A gente extrai informações relevantes com base na pergunta que tá sendo feita. Essa etapa é dividida em três partes:

1. Conectando Fontes de Dados: A gente estabelece links entre diferentes fontes de dados usando identificadores únicos dos grafos de conhecimento.
2. Buscando Informações: Usamos esses identificadores pra juntar informações dos autores de bancos de dados estruturados como DBLP e SemOpenAlex.
3. Extraindo Texto: Depois, a gente procura textos úteis na Wikipedia e em outras fontes não estruturadas, que possam esclarecer sobre o autor ou sua instituição.

Esse processo permite coletar todas as informações relevantes necessárias pra responder uma pergunta.

#Etapa 2: Melhorando a Apresentação das Informações

Depois de juntar o contexto relevante, a gente precisa apresentar essas informações de forma eficaz pro modelo de IA. É aqui que entra a Engenharia de Prompts.

O prompt é um conjunto de instruções que diz pro modelo de IA como processar as informações. A gente elabora o prompt com cuidado pra garantir que inclua quatro partes principais:

1. Instruções: Diretrizes claras pro modelo sobre como interpretar o contexto.
2. Consulta: A pergunta real sendo feita em formas originais e reformuladas.
3. Contexto: As informações coletadas das três fontes de dados, organizadas de forma clara em seções.
4. Indicador de Saída: Instruções sobre como a saída deve ser formatada.

Refinando o prompt, a gente consegue ajudar a minimizar erros nas respostas geradas pelo modelo.

#Resultados e Avaliação

Pra avaliar nossa abordagem, testamos em um conjunto de dados conhecido por perguntas acadêmicas. Esse conjunto consiste em perguntas especificamente relacionadas a autores e suas pesquisas.

Medimos o desempenho do nosso sistema usando duas métricas: Correspondência Exata e F1-score. A Correspondência Exata mede quantas respostas estavam corretas, enquanto o F1-score leva em conta correspondências parciais, fornecendo uma avaliação mais sutil dos resultados.

Nossos resultados mostraram que, embora tenhamos ido razoavelmente bem, ainda havia áreas notáveis pra melhorar.

#Desafios Encontrados

Durante nosso projeto, enfrentamos vários desafios que impactaram o desempenho do nosso sistema.

#Informações Ausentes

Um dos problemas que encontramos foi que alguns identificadores únicos de autores (ORCIDs) estavam faltando em um dos grafos de conhecimento. Isso significava que não conseguimos conectar todas as informações necessárias, resultando em uma extração de dados incompleta.

Mesmo quando tentamos acessar uma versão mais nova do grafo de conhecimento, surgiram inconsistências por conta de atualizações na forma como as informações eram apresentadas.

#Respostas Inconsistentes da IA

Outro desafio grande foi a tendência do modelo de IA de produzir respostas inconsistentes, mesmo quando a informação correta estava disponível. Às vezes, o modelo “alucina” ou gera números aleatórios quando os corretos estavam presentes no contexto.

O modelo também teve dificuldades em seguir instruções específicas, resultando em respostas que incluíam detalhes desnecessários em vez das informações-chave.

#Conclusão

Nesse artigo, a gente apresentou um método que combina dados de grafos de conhecimento e fontes não estruturadas pra melhorar como respondemos perguntas acadêmicas. Nossa abordagem envolveu extrair contexto e refinar prompts pra aprimorar o desempenho do modelo.

Embora nossos resultados tenham sido promissores, as inconsistências nas respostas do modelo de IA indicam a necessidade de mais pesquisas. No futuro, pretendemos explorar como melhorar as capacidades de recuperação de informações dos modelos de linguagem pra fornecer respostas mais precisas e confiáveis na área acadêmica.

Ao enfrentar esses desafios, esperamos contribuir pra tornar o conhecimento acadêmico mais acessível e útil pra todo mundo.