Avanços na Recuperação de Informação em Diferentes Idiomas

A TREC 2022 NeuCLIR Track é um projeto que investiga como os Métodos Neurais funcionam na busca de informação em diferentes línguas (CLIR). Essa é a primeira vez que essa trilha foi apresentada, e o objetivo é avaliar quão eficazes esses novos métodos são ao lidar com Documentos em várias línguas. Neste ano, a parada foi buscar artigos de notícias em chinês, persa e russo usando consultas escritas em inglês.

Um total de doze equipes participou, enviando 172 tentativas em resposta a vários tópicos. O processo de criação dos tópicos envolveu métodos padrão, mas alguns passos únicos foram tomados para avaliá-los em diferentes línguas. Isso quer dizer que uma pessoa desenvolvia um tópico em uma língua e outra que fala uma língua diferente avaliava.

#História da Busca de Informação em Diferentes Línguas

CLIR é um assunto de estudo há mais de trinta anos, tendo aparecido pela primeira vez no TREC-4. Antes do surgimento dos métodos de aprendizado profundo, abordagens estatísticas fortes foram desenvolvidas e se mostraram eficazes em várias línguas. Agora, com o avanço dos métodos neurais em muitas áreas da tecnologia, houve melhorias notáveis nos sistemas de Recuperação de informação.

Vários fatores fizeram parecer que era hora de buscar progresso em CLIR:

1. Interesse em Pesquisa: Programas recentes focados em CLIR, como os da IARPA e do Centro de Tecnologia da Linguagem Humana da Johns Hopkins, chamaram a atenção para o campo. Muitos pesquisadores começaram a explorar questões relacionadas a perguntas e respostas em diferentes línguas e embeddings multilíngues.

2. Algoritmos Melhorados: Avanços em redes neurais melhoraram o desempenho na recuperação de informações em uma língua e, mais recentemente, na recuperação em diferentes línguas.

3. Disponibilidade de Dados: O surgimento de grandes conjuntos de dados, como o MS MARCO, ajudou na recuperação monolíngue e permitiu o treinamento de sistemas de recuperação em diferentes línguas.

4. Melhor Infraestrutura: Novas ferramentas e sistemas que suportam métodos neurais se tornaram disponíveis, facilitando para os pesquisadores começarem a trabalhar nessa área.

A trilha NeuCLIR foi projetada para usar esses recursos e interesses para avançar na CLIR neural.

#Perguntas Chaves para a NeuCLIR Track

A NeuCLIR Track buscou abordar várias perguntas importantes:

• Quais são as melhores abordagens neurais para a recuperação em diferentes línguas?
• Como essas abordagens se comparam aos métodos tradicionais que combinam tradução automática e recuperação monolíngue?
• Como os métodos neurais se comparam aos melhores métodos estatísticos para CLIR?
• A reclassificação pode melhorar a eficácia dos sistemas de recuperação?
• Quais recursos diferentes abordagens precisam e quais são mais úteis para treinar sistemas CLIR?
• Quais são os melhores métodos para recuperar informações em várias línguas?

O trabalho feito em 2022 começou a fornecer respostas para essas perguntas, e a trilha deve continuar em 2023.

#Tarefas na NeuCLIR Track

A TREC 2022 NeuCLIR Track incluiu três tarefas principais:

1. CLIR Ad Hoc: Essa foi a tarefa principal onde os sistemas receberam uma coleção de documentos em chinês, persa ou russo junto com tópicos em inglês. Eles precisavam retornar uma lista classificada de 1.000 documentos da coleção da língua alvo relevantes para cada tópico.

2. Reclassificação CLIR: Nessa tarefa, os sistemas foram dados um conjunto inicial de 1.000 documentos recuperados de um sistema BM25 que traduziu documentos para propósitos de recuperação em diferentes línguas. As equipes foram convidadas a reclassificar esses documentos para melhorar a relevância de acordo com algumas métricas.

3. Recuperação Monolíngue: Embora não fosse o foco principal, essa tarefa usou tópicos traduzidos para recuperar documentos em uma língua. Serviu como um bom referencial para as tarefas de recuperação em diferentes línguas.

Todas essas tarefas usaram o mesmo conjunto de documentos e tópicos, garantindo consistência no processo de avaliação.

#Coleção de Documentos

A coleção de documentos para a NeuCLIR Track, chamada NeuCLIR-1, incluiu artigos em chinês, persa e russo, provenientes de vários sites de notícias. Os documentos foram coletados entre agosto de 2016 e julho de 2021, principalmente do conjunto de dados Common Crawl. Medidas especiais foram tomadas para garantir a precisão da identificação de línguas para esses documentos, usando ferramentas projetadas para verificar o texto.

Para tornar a coleção mais gerenciável, documentos extremamente longos e curtos foram removidos, já que muitas vezes não representavam artigos de notícias genuínos. O tamanho da coleção foi limitado a 5 milhões de documentos, e a coleção russa foi especialmente reduzida para atender a esse requisito.

#Desenvolvimento de Tópicos

Os tópicos para a trilha foram desenvolvidos usando um processo que incluiu a criação de descrições em inglês e a busca de documentos relevantes. Avaliadores analisaram uma amostra de documentos e anotaram quantos eram relevantes. Tópicos onde muitos documentos relevantes foram encontrados foram considerados inadequados para inclusão.

Para garantir que os tópicos pudessem gerar resultados relevantes em várias línguas, os avaliadores também analisaram documentos relacionados a tópicos criados em outras línguas. Esse processo levou à criação de 137 tópicos, com vários sendo avaliados em chinês, persa e russo.

#Avaliações de Relevância

Uma vez que os sistemas foram executados, foi hora de avaliar a relevância dos documentos. Isso envolveu a criação de grupos de julgamento a partir dos documentos mais bem classificados retornados pelos sistemas. O número de documentos incluídos nesses grupos dependia se a equipe marcasse sua execução como uma execução de base.

Os avaliadores usaram uma escala de quatro pontos para classificar a relevância de cada documento, focando no valor da informação enquanto mantinham em mente as necessidades do processo de avaliação como um todo. Uma escala de três pontos foi formalizada mais tarde para calcular a relevância.

#Resultados e Análise

Os resultados da NeuCLIR Track foram positivos, mostrando que os métodos neurais superaram as abordagens não neurais tradicionais. O desempenho de cada sistema foi avaliado usando várias métricas, e os sistemas mais bem classificados geralmente usaram uma combinação de títulos e descrições.

Em média, sistemas híbridos que combinaram diferentes métodos de recuperação se saíram melhor. As tarefas de reclassificação tiveram um recall mais alto devido aos sistemas de recuperação BM25 iniciais que foram usados.

#Dificuldade e Diversidade dos Tópicos

Os avaliadores notaram que certos tópicos eram mais fáceis do que outros, o que poderia afetar a capacidade dos sistemas de se destacarem. Alguns tópicos geraram muitos documentos relevantes, enquanto outros não tiveram nenhum, o que poderia comprometer o processo de avaliação.

A diversidade entre os documentos recuperados também era importante. Ao comparar os resultados de diferentes sistemas, ficou claro que ter um conjunto variado de documentos recuperados é essencial para criar uma coleção reutilizável.

#Direções Futuras

A NeuCLIR Track planeja continuar em 2023, com novos tópicos e possivelmente tarefas adicionais para ampliar o escopo da pesquisa. As novas tarefas propostas incluem:

• Recuperação de Informação Multilíngue (MLIR): Isso envolveria a criação de uma única lista classificada de documentos em várias línguas.
• Consultas Não Inglesas (NEQ): As equipes precisariam processar consultas em línguas diferentes do inglês dentro da coleção existente.
• CLIR para Documentos Técnicos (CLIR-TD): Isso se concentraria na recuperação de documentos técnicos em campos específicos, usando consultas em inglês.

Uma variedade de discussões ocorrerá para ajustar as tarefas e envolver mais participantes. O objetivo é incentivar a participação e promover melhorias no campo da recuperação de informação em diferentes línguas.

#Conclusão

A TREC 2022 NeuCLIR Track fez avanços significativos na compreensão de como os métodos neurais podem ser utilizados de forma eficaz para tarefas de recuperação em diferentes línguas. Com o conhecimento adquirido neste primeiro ano, espera-se que futuras iniciativas melhorem ainda mais a capacidade e a precisão da recuperação de informações em várias línguas. O esforço colaborativo de várias equipes e o estabelecimento de processos de avaliação rigorosos ajudarão a orientar a pesquisa e desenvolvimento contínuos nesta área importante.