Avançando a Tipagem Fina de Entidades com Ontologias

A tipagem de entidades refinada (FET) é uma tarefa de compreensão de linguagem natural. Ela envolve descobrir tipos mais detalhados para entidades em um texto. Por exemplo, se temos o nome "Sammy Sosa" em uma frase, queremos rotulá-lo não só como "Pessoa", mas também como "Atleta" ou "Jogador". Isso é útil para várias aplicações, como conectar entidades a bancos de dados, entender relacionamentos e resolver referências às mesmas entidades.

Fazer FET com métodos tradicionais é complicado. Normalmente, eles precisam de muitos dados rotulados por humanos, o que é caro e difícil de conseguir, especialmente em áreas que mudam rápido. Abordagens mais novas usam modelos de linguagem pré-treinados (PLMs) para ajudar a gerar dados para FET. Esses modelos podem fazer suposições inteligentes sobre os tipos com base no contexto em que as entidades são mencionadas. Mas mesmo os PLMs nem sempre fornecem detalhes precisos ou finos sobre os tipos.

Neste trabalho, propomos uma nova maneira de melhorar a FET usando um conjunto estruturado de tipos, conhecido como ontologia. Uma ontologia é uma forma de organizar o conhecimento de maneira hierárquica, onde categorias mais amplas estão conectadas a categorias mais específicas. Por exemplo, em uma ontologia, "Localização" pode ser uma categoria geral que inclui tipos mais específicos como "Cidade", "Edifício" e "Estádio".

#Desafios na Tipagem de Entidades Refinada

FET tem desafios específicos:

1. Custo de Dados Rotulados: Métodos tradicionais frequentemente exigem grandes quantidades de dados que foram rotulados por humanos, o que pode ser caro e demorado.

2. Anotações Inexatas: Diferentes anotadores podem rotular a mesma entidade de maneiras diversas. Por exemplo, "Barack Obama" pode ser rotulado como "Pessoa", "Político" ou "Presidente", levando a inconsistências.

3. Sensibilidade ao Contexto: O significado das entidades pode mudar com base no texto ao redor. Por exemplo, "Boston" pode se referir a uma cidade ou a um time esportivo, dependendo do contexto.

A maioria dos métodos usados hoje para FET depende de supervisão fraca. Isso significa que eles usam métodos menos precisos para criar dados rotulados. Abordagens comuns incluem:

• Correspondência de Base de Conhecimento: Isso envolve descobrir como combinar menções de entidades no texto com entradas em uma base de conhecimento como a Wikipedia. O objetivo é usar essas correspondências como rótulos para treinar os modelos.

• Utilização da Palavra Principal: Essa abordagem olha para a palavra principal da entidade para derivar seu tipo. Por exemplo, em "Governador Arnold Schwarzenegger", a palavra principal "Governador" pode ajudar a rotular a entidade como um líder político.

• Modelos de Linguagem Mascarados (MLMs): Modelos de ML podem gerar tipos candidatos para entidades preenchendo lacunas em frases. Por exemplo, com uma frase contendo uma entidade, inserir um "[MASK]" pode ajudar a gerar palavras que podem descrever essa entidade.

Apesar desses esforços, métodos baseados nessas abordagens podem produzir resultados mistos. Eles podem gerar rótulos que são muito amplos ou não apropriados como tipos refinados.

#Apresentando Tipagem de Entidades Refinada Guiada por Ontologia

Nosso método proposto usa as vantagens de uma ontologia para melhorar a FET. A ideia principal é usar uma hierarquia estruturada de tipos que ajuda a refinar os rótulos gerados pelos PLMs. Aqui está como o método funciona:

1. Geração de Rótulos Candidatos: Começamos gerando rótulos potenciais para cada entidade mencionada no texto. Isso é feito por meio de uma mistura de análise da palavra principal e de sugestões de MLM. O objetivo é criar um conjunto de rótulos candidatos que possam representar a entidade.

2. Resolução de Tipo de Alto Nível: Uma vez que temos nossos rótulos candidatos, o próximo passo é alinhar esses rótulos com um tipo geral em nossa ontologia. Esse processo usa um modelo pré-treinado para avaliar quão relacionados os rótulos gerados estão aos tipos na ontologia, o que ajuda a restringir as opções.

3. Seleção de Tipo Refinado: Com os tipos de alto nível determinados, olhamos mais profundamente na ontologia para encontrar o tipo refinado mais adequado. Isso envolve avaliar tipos filhos (rótulos mais específicos) e selecionar o mais apropriado com base no contexto.

Seguindo esse método estruturado, construímos um sistema abrangente para tipar entidades em textos de forma precisa.

#Vantagens de Usar Ontologia

Usar uma ontologia oferece várias vantagens:

• Estrutura Hierárquica: Uma ontologia organiza tipos de uma maneira que simplifica o processo de seleção. Ela permite uma relação clara entre tipos gerais e específicos.

• Consciência de Contexto: A combinação de rótulos candidatos gerados por diferentes fontes ajuda a alinhar com o tipo certo com base no contexto.

• Refinamento de Rótulos: Ao refinar como pensamos sobre tipos, podemos melhorar como rotulamos entidades.

#Aplicação e Experimentação

Testamos nossa abordagem em conjuntos de dados como Ontonotes, FIGER e NYT. Esses conjuntos de dados vêm com suas próprias estruturas de tipo que foram usadas para avaliação.

Os experimentos mostraram resultados promissores. Nosso método teve um desempenho melhor do que as técnicas existentes de tipagem de entidade refinada zero-shot. Também descobrimos que melhorar a estrutura da ontologia aumenta ainda mais o desempenho, o que significa que tipos melhor organizados levam a melhores resultados.

Através dos experimentos, conseguimos entender os tipos de erros que foram cometidos. Alguns erros foram devido a Ontologias incompletas, enquanto outros surgiram da interpretação errada do contexto pelos modelos.

#Conclusão

A tipagem de entidades refinada é essencial para analisar e categorizar textos de forma eficaz. Embora abordagens existentes tenham avançado, ainda há espaço para melhorias. Ao aproveitar a natureza estruturada das ontologias, podemos criar um sistema mais eficiente e preciso para identificar tipos refinados para entidades em textos.

Nosso método não só fornece resultados melhores, mas também abre novos caminhos para refinar ontologias de tipos. Com trabalhos futuros, pretendemos continuar aprimorando o sistema e explorando formas adicionais de mesclar informações de nível superficial com conhecimento contextual rico para uma precisão ainda maior na tipagem de entidades refinadas.