Desafios de Reprodutibilidade em Grafos de Conhecimento

Grafos de Conhecimento (KGs) são ferramentas usadas pra organizar e representar informações de um jeito estruturado. Eles mostram como diferentes pedaços de informação se relacionam. Por exemplo, podem ajudar em áreas como sistemas de recomendação, identificar informações falsas sobre saúde ou detalhes sobre doenças.

Mas, criar e manter KGs pode ser bem complicado. Montar um KG exige habilidade em desenhar estruturas de Dados, organizar a informação e garantir que os dados sejam precisos e relevantes. Essa necessidade constante de atualizações e checagens aumenta o trabalho de manter um KG funcional.

#Importância da Reproduzibilidade

Uma questão chave com os KGs é a reproduzibilidade. Isso significa conseguir replicar ou verificar a informação em um KG. Conseguir reproduzir um KG é essencial pra confiar nas informações que ele fornece e pra utilidade a longo prazo desse conhecimento. KGs reproduzíveis apoiam princípios de ciência aberta, permitindo que pesquisadores construam sobre o conhecimento existente e garantindo clareza e confiabilidade na troca de dados.

Apesar do crescimento dos KGs em campos específicos, não houve análise suficiente sobre quão reproduzíveis eles são. Essa situação pede uma olhada mais de perto nos KGs, focando em como avaliar sua reproduzibilidade.

#Descobertas sobre Grafos de Conhecimento Específicos

Uma pesquisa foi feita em 19 campos diferentes, e só um número pequeno de KGs se mostrou reproduzível. De 250 KGs estudados, apenas oito (3,2%) tinham código fonte disponível publicamente. Desses oito, só um passou nos testes de reproduzibilidade com sucesso, mostrando que apenas 0,4% dos KGs estudados são realmente reproduzíveis.

Esse percentual baixo indica lacunas sérias na prática atual de criar e compartilhar KGs. Isso aponta uma necessidade clara de pesquisa futura e uma mudança na abordagem desses KGs.

#O que são Grafos de Conhecimento?

No fundo, KGs apresentam informações estruturadas sobre tópicos específicos. Eles ilustram entidades (como pessoas, lugares ou coisas) e como essas entidades se conectam por meio de várias relações. Embora existam muitas definições de KGs, geralmente servem pra reunir e compartilhar conhecimento sobre o mundo real.

Reproduzibilidade pode ser definida como a capacidade de alcançar os mesmos resultados quando experimentos ou estudos são repetidos por outros usando métodos ou condições diferentes. Em termos computacionais, reproduzibilidade significa obter resultados consistentes usando as mesmas entradas e métodos.

Estudos mostraram que a reproduzibilidade continua sendo um desafio em várias áreas científicas, incluindo ciência computacional. Esse desafio também se estende aos KGs, apesar de sua utilidade em organizar dados. Um KG reproduzível promove confiança nas informações fornecidas e incentiva o compartilhamento de dados.

#Analisando a Reproduzibilidade em Grafos de Conhecimento

Um estudo recente buscou entender como os KGs existentes se saem em termos de reproduzibilidade. A análise comparou KGs com base em vários critérios, focando em quão reproduzíveis eles são. Isso envolveu verificar uma gama de 250 KGs de múltiplos domínios, especificamente procurando por código open-source e a capacidade de replicar suas descobertas.

O estudo usou vários critérios pra avaliar a reproduzibilidade, incluindo:

• Disponibilidade de código e dados
• Licenciamento adequado para o código
• Persistência de identificadores como DOIs para código e dados
• Acessibilidade do ambiente de execução
• Instruções claras para rodar o código
• Demos online dos KGs
• Pontos finais SPARQL para consultar os dados
• Regeneração bem-sucedida do KG
• Informações de procedência pra rastrear o desenvolvimento

Esses critérios enfatizam que ter código não é suficiente pra reproduzibilidade. Instruções claras, um ambiente disponível e acesso aos dados também são cruciais.

#Metodologia da Pesquisa

A pesquisa começou com uma busca por “grafo de conhecimento de domínio” no Google Scholar, cobrindo artigos até o final de 2021. Essa busca identificou muitos artigos, que foram então filtrados pra encontrar os relevantes focados na construção de KGs.

Depois de remover duplicatas e restringir as seleções com base em critérios específicos, 250 artigos foram identificados. Cada artigo identificado foi revisado pra verificar a presença de código open-source. Foi surpreendente que apenas oito artigos continham código disponível publicamente.

O processo de pesquisa garantiu que o repositório de cada KG fosse examinado pra verificar tanto a disponibilidade do código quanto a completude da documentação fornecida.

#Insights do Estudo

O estudo revela alguns insights críticos:

1. Apenas 3,2% dos KGs selecionados ofereceram código open-source, indicando a necessidade de maior apoio a práticas de ciência aberta.
2. Só um dos sete KGs open-source pôde ser executado com sucesso, mostrando que apenas 0,4% são reproduzíveis.
3. A disponibilidade de código sozinha não garante reproduzibilidade; ter instruções claras e um ambiente de execução acessível são igualmente importantes.
4. Muitos KGs careciam de rastreamento adequado de como foram construídos, complicando ainda mais a reproduzibilidade.

#Grafos de Conhecimento Existentes com Código Open-Source

Entre os poucos KGs que forneceram código open-source, diversos casos interessantes foram examinados:

• CKGG foca em conhecimento geográfico, contendo bilhões de pontos de dados reunidos de várias fontes.
• CROssBAR-KG apresenta relações entre termos biológicos e pode ser consultado com base na entrada do usuário.
• ETKG modela eventos relacionados ao turismo, extraindo dados de várias anotações de viagem coletadas online.
• FarsBase é um KG em língua persa que compila informações da Wikipedia e é acessível através de um formato estruturado.
• GAKG é um grande KG construído a partir de publicações de geociências, que é frequentemente atualizado e pode ser consultado.
• MDKG combina dados de diversos bancos de dados sobre micróbios e doenças.
• Ozymandias é um KG de biodiversidade que integra dados sobre a fauna australiana de várias fontes.
• RTX-KG2 permite que os usuários construam e hospedem um grafo de conhecimento biomédico e é suportado por uma ampla gama de dados biomédicos.

#Direções Futuras para Pesquisa

As descobertas desse estudo ressaltam a necessidade de mais pesquisas focadas na reproduzibilidade dos KGs. Uma área significativa a explorar é quão bem os KGs documentam seus processos de desenvolvimento. Isso pode incluir manter registros detalhados das fontes de dados, códigos utilizados e metodologias seguidas.

Ter informações de procedência abrangentes ajudará os pesquisadores a replicar os resultados dos KGs mais facilmente e manter os KGs alinhados com as fontes de dados que mudam.

Em conclusão, o potencial pra tornar os grafos de conhecimento mais reproduzíveis é vasto, mas requer esforços colaborativos pra melhorar o acesso a recursos, documentação, e práticas gerais na comunidade científica.