Avaliando a Complexidade Lexical na Aprendizagem do Japonês

A Previsão de Complexidade Lexical (LCP) é sobre descobrir quão difíceis são as palavras em um texto para entender. Isso é importante porque ajuda a simplificar palavras complicadas para os leitores que podem ter dificuldades com elas. Para entender melhor a complexidade lexical em japonês, foi criado um conjunto de dados único especificamente para esse idioma.

Esse novo conjunto de dados atribui Pontuações de Complexidade às palavras em japonês, levando em conta os históricos dos leitores. Por exemplo, ele fornece pontuações separadas para quem tem o chinês ou coreano como primeira língua e para quem fala outros idiomas. O objetivo é ajudar diferentes grupos de aprendizes que podem enfrentar desafios únicos.

Em estudos sobre leitura, foi mostrado que os aprendizes de inglês precisam entender cerca de 98% das palavras em um texto para compreendê-lo totalmente. Estudos similares sugerem que, para quem aprende japonês, a exigência é de cerca de 96%. Aprender vocabulário suficiente para atingir esse nível pode levar muito tempo e esforço, tornando essa tarefa difícil.

A criação de ferramentas para ajudar nessa situação está crescendo. Um dos primeiros passos é prever quão complexas são as palavras. LCP é diferente de apenas identificar palavras complexas. Em vez de classificar as palavras como simplesmente difíceis ou não, LCP analisa a complexidade em uma escala. Esse método permite uma compreensão mais detalhada de quão desafiadora uma palavra pode ser.

A maior parte do trabalho sobre LCP se concentrou no inglês, mas pouco foi feito para o japonês. O japonês tem características específicas que podem afetar quão complexa uma palavra parece, como o uso de caracteres chineses. Pesquisas anteriores usaram listas de palavras limitadas para determinar a complexidade, mas essas listas muitas vezes se baseavam nas opiniões dos professores, em vez das visões dos próprios aprendizes.

Para abordar essa lacuna, apresentamos o JaLeCoN, um conjunto de dados criado para avaliar a complexidade lexical em japonês para leitores não nativos. O conjunto inclui pontuações de complexidade tanto para palavras únicas quanto para Expressões de várias palavras (MWE). Além disso, considera as perspectivas de leitores chineses e coreanos separadamente das de outros contextos. A análise mostra que os Anotadores não chineses e coreanos veem palavras derivadas do chinês ou que apresentam caracteres chineses como especialmente difíceis.

#Configurando o Conjunto de Dados

A língua japonesa apresenta alguns desafios. Por exemplo, não separa claramente as palavras, tornando a segmentação de palavras um passo importante. Para lidar com isso, usamos palavras unitárias curtas (SUWs) como as unidades básicas, e expressões de várias palavras (MWEs) mais longas são formadas conforme necessário. Ferramentas diferentes são utilizadas para essa tarefa de segmentação.

Para coletar dados, obtivemos textos de dois gêneros: notícias e documentos governamentais. Os textos foram processados para incluir uma mistura de linguagem escrita e falada. Esse conjunto de dados é projetado para facilitar a anotação fácil e a pontuação precisa.

#Como a Complexidade é Medida

Queríamos capturar quão complexa uma palavra é para leitores não nativos com um bom domínio do idioma. Para isso, envolvemos vários anotadores com diferentes níveis de proficiência em japonês. Eles classificaram as palavras em uma escala de dificuldade. Coletamos insights da maioria desses anotadores depois de excluir um com pontuações significativamente mais altas.

Curiosamente, muitos dos anotadores vieram de um contexto chinês ou coreano. Esses leitores geralmente acham mais fácil entender palavras ligadas ao chinês devido às suas habilidades linguísticas existentes. Cada anotador rotulou as palavras com base em quão fáceis ou difíceis achavam. Se achassem uma palavra complicada, dariam uma pontuação alta; caso contrário, seria uma pontuação baixa.

#Analisando Expressões de Várias Palavras

Enquanto anotávamos, também analisamos expressões de várias palavras. Como não havia uma ferramenta confiável para detectar essas expressões em japonês, os anotadores humanos tiveram que identificá-las manualmente. Várias categorias foram estabelecidas para as MWEs a fim de entender melhor sua complexidade.

#Pontuando Níveis de Complexidade

Depois de coletar todas as anotações, atribuímos pontuações de complexidade com base nas pontuações dadas por cada anotador. Um grupo de palavras que recebeu altas avaliações de complexidade daria a mesma pontuação para todas as palavras dentro dele. Para as MWEs, se contivessem múltiplos intervalos, receberiam a pontuação de complexidade mais alta desses intervalos.

Estatísticas mostraram tendências interessantes. Descobrimos que as MWEs eram geralmente percebidas como mais complexas do que palavras únicas, especialmente nos textos governamentais. Também havia uma diferença clara nas avaliações de complexidade entre os dois grupos de anotadores.

#Concordância Entre Anotadores

Para medir o quanto os anotadores concordavam uns com os outros, usamos um método chamado alpha de Krippendorf. A concordância foi relativamente baixa, indicando que a percepção de complexidade pode variar bastante entre diferentes leitores. No entanto, as classificações estavam mais alinhadas dentro do mesmo grupo de contexto linguístico.

#Resultados do Estudo

Ao analisar os dados, vimos que o novo conjunto de dados pode medir efetivamente a complexidade lexical para leitores não nativos de japonês de diferentes origens. Também testamos um sistema baseado no BERT, um tipo de modelo de aprendizado de máquina, para ajudar a prever a complexidade. Os resultados mostraram níveis variados de precisão dependendo da complexidade das palavras e do histórico linguístico dos leitores.

O modelo BERT teve um bom desempenho, mas ainda teve dificuldades na previsão de palavras mais complexas. Isso parece resultar da distribuição desigual das complexidades das palavras nas anotações. Palavras mais fáceis apareceram com mais frequência do que as mais difíceis, o que impactou o processo de aprendizado do modelo.

#Direções Futuras

Esse conjunto de dados é apenas o começo. Há potencial para trabalhos futuros criarem sistemas mais específicos para personalizar o aprendizado com base nas necessidades individuais. Isso significa que sistemas poderiam ser desenvolvidos para ajudar aprendizes em vários níveis, focando especialmente naqueles que acham certas palavras difíceis.

Além disso, há uma necessidade de melhores ferramentas para identificar expressões de várias palavras em japonês. O processo manual que usamos é demorado, portanto, automatizá-lo poderia aumentar a eficiência de futuras pesquisas.

Por fim, outro conjunto de dados poderia ser desenvolvido que use uma abordagem diferente para anotar palavras. O novo conjunto poderia focar em palavras que são comumente percebidas como complexas, garantindo uma distribuição mais equilibrada das dificuldades nas palavras incluídas.

#Conclusão

A introdução do conjunto de dados JaLeCoN marca um passo importante na pesquisa sobre como leitores não nativos entendem o japonês. Ao focar na complexidade das palavras e considerar os históricos dos leitores, podemos criar melhores ferramentas para ajudar os aprendizes. As descobertas dos estudos iniciais destacam a necessidade de continuar explorando como ajudar todos os aprendizes a navegar nas complexidades da língua japonesa.