Construyendo un corpus web japonés de alta calidad

En los últimos años, ha habido un crecimiento significativo en el uso de modelos de lenguaje grandes (LLMs) para varias tareas en procesamiento de lenguaje natural (NLP). Estos modelos se han entrenado en diversas fuentes de datos para mejorar su capacidad de entender y generar texto. Sin embargo, muchos de los corpus existentes utilizados para entrenar LLMs en Japonés no han sido de alta Calidad.

Este artículo habla sobre la creación de un gran corpus web japonés a partir del archivo Common Crawl, que es una colección de páginas web rastreadas durante varios años. El objetivo es proporcionar mejores datos de entrenamiento para LLMs en japonés, mejorando su rendimiento.

#Importancia de los Datos de Calidad

La efectividad de los LLMs depende en gran medida de la calidad de los datos en los que se entrenan. Muchos de los conjuntos de datos existentes para modelos de lenguaje japonés se han extraído de corpus multilingües más grandes, que a menudo no priorizan la calidad del texto japonés. Esta falta de enfoque puede llevar a modelos que tienen problemas con los matices del idioma.

Para abordar este tema, es esencial construir un corpus japonés dedicado que no solo proporcione una gran cantidad de texto, sino que también enfatice la calidad. Datos de entrenamiento de alta calidad permiten a los modelos entender mejor las complejidades del idioma, mejorando su rendimiento en varias tareas.

#El Archivo Common Crawl

Para crear un corpus japonés de alta calidad, este proyecto extrajo texto del Common Crawl, un extenso repositorio de páginas web recopiladas a lo largo del tiempo. El archivo contiene instantáneas de internet, capturando una amplia variedad de contenido. El proyecto utilizó 21 instantáneas del archivo, abarcando aproximadamente 63.4 mil millones de páginas cosechadas entre 2020 y 2023.

#Tamaño del Corpus

El nuevo corpus web japonés consta de alrededor de 312.1 mil millones de caracteres, lo que equivale a aproximadamente 173 millones de páginas. Esto lo convierte en el corpus más grande de su tipo para entrenar LLMs en japonés, superando conjuntos de datos previamente utilizados como CC-100, mC4 y OSCAR, que incluyen cantidades más pequeñas de texto en japonés.

#Verificación de Calidad

Para asegurar la efectividad del nuevo corpus creado, los investigadores realizaron un preentrenamiento continuo en LLMs conocidos, como Llama 2 y Mistral. Los resultados mostraron mejoras consistentes en el rendimiento en conjuntos de datos de referencia en japonés, confirmando que el nuevo corpus mejora con éxito las capacidades del modelo para entender y generar texto en japonés.

#Motivación para el Desarrollo

La motivación para desarrollar mejores LLMs en japonés proviene de varios factores. Hay una necesidad de avanzar en la investigación en NLP, mientras se abordan preocupaciones de seguridad sobre la dependencia de empresas extranjeras. Con muchas empresas y universidades japonesas involucrándose activamente en el desarrollo de LLMs abiertos, hay una urgencia por tener mejores datos de entrenamiento específicamente enfocados en las necesidades del idioma japonés.

#Limitaciones de los Conjuntos de Datos Existentes

Numerosos conjuntos de datos japoneses existentes sufren de problemas de calidad. Por ejemplo, a menudo incorporan ruido de los procesos de conversión de HTML a texto, lo que conduce a datos corruptos o poco refinados. Dado que muchos de estos conjuntos de datos se crearon en contextos multilingües, no abordan necesariamente las complejidades del japonés.

#Enfoque para Construir el Corpus

Este proyecto se centró en construir un corpus web japonés a gran escala y de alta calidad con varios pasos clave:

1. Extracción de Texto Japonés: La fase inicial implica extraer texto de archivos WARC en Common Crawl. El proceso comienza accediendo a las instantáneas almacenadas en Amazon S3, utilizando herramientas para extraer contenido HTML para un análisis posterior.

2. Selección de Texto de Alta Calidad: Después de extraer el texto, se aplica un proceso de filtrado para asegurar que solo se incluya contenido japonés de alta calidad. Esta selección es crucial para eliminar ruido innecesario.

3. Limpieza del Texto: Por último, el texto extraído se somete a limpieza para asegurarse de que se presente en un formato consistente y utilizable. Este paso implica normalizar la puntuación y eliminar cualquier componente irrelevante que haya quedado.

#Detección de Idioma

Un desafío significativo durante el proceso de extracción implica detectar con precisión el idioma japonés dentro de la gran cantidad de datos. Para abordar esto, el proyecto empleó un método rápido de detección de idioma que identifica eficientemente el contenido japonés sin necesidad de analizar cada página en detalle. Este enfoque optimizado reduce significativamente el tiempo de procesamiento mientras mantiene un alto nivel de precisión.

#Filtrado por Calidad

El proceso de filtrado de calidad presenta múltiples pasos:

• Eliminación de Duplicados: Se elimina el contenido que es repetitivo o no informativo para asegurar que el corpus contenga solo texto útil.
• Establecimiento de Normas de Calidad: Se establecieron varias reglas para determinar qué constituye un texto japonés de alta calidad. Estas reglas abordan factores como el recuento de caracteres, el uso del idioma y la estructura de las oraciones.

Al emplear estas técnicas de filtrado, el corpus final retiene una cantidad significativa de contenido valioso mientras descarta datos irrelevantes o de baja calidad.

#Proceso de Deducción

Después de filtrar por calidad, la siguiente fase implica la deduplicación, que elimina entradas redundantes dentro del corpus. Usando un método llamado MinHash, el proyecto identifica documentos duplicados y retiene solo las versiones más recientes. Este enfoque mejora la eficiencia del entrenamiento al asegurarse de que los modelos no memoricen información repetitiva.

#Filtrado por Nombre de Dominio

Para refinar aún más el corpus, se estableció un sistema de filtrado basado en nombres de dominio. Se bloquearon ciertos sitios web conocidos por producir contenido de baja calidad o material dañino. Esta etapa elevó significativamente el estándar general del corpus.

#Proceso de Limpieza

El proceso de limpieza tiene como objetivo asegurar que el texto esté listo para su uso en el entrenamiento de LLMs. Esto incluye ediciones menores como normalizar la puntuación y eliminar cualquier texto de pie de página que no se filtró en etapas anteriores. Esta cuidadosa limpieza ayuda a mantener la calidad y consistencia general de los datos.

#Entrenamiento y Evaluación de Modelos

Para evaluar la efectividad del nuevo corpus creado, se seleccionaron varios LLMs prominentes para un preentrenamiento continuo. Estos modelos, que ya están bien versados en inglés, fueron afinados usando el corpus web japonés junto con otras fuentes como Wikipedia japonesa.

El proceso de entrenamiento implicó preparar una mezcla del nuevo corpus japonés y otros conjuntos de datos para equilibrar el conocimiento de japonés e inglés. Como resultado, estos modelos adquirieron habilidades mejoradas en la comprensión y generación de texto en japonés, como se evidencia por las mejoras en el rendimiento en varias tareas de referencia.

#Evaluación de Referencia

Durante la fase de evaluación, los modelos fueron probados contra un conjunto de conjuntos de datos de referencia en japonés. Estas evaluaciones cubrieron diferentes tipos de tareas, como responder preguntas de opción múltiple, comprensión lectora e inferencia de lenguaje natural. Las mejoras de rendimiento observadas durante estas evaluaciones destacaron la efectividad del nuevo corpus japonés en tareas que requieren una comprensión más profunda del idioma.

#Direcciones Futuras

Aunque este proyecto estableció con éxito un gran corpus web japonés, aún hay muchas vías para crecer. El trabajo futuro tiene como objetivo mejorar las medidas de seguridad para los LLMs al reducir la generación de contenido dañino. Es importante seguir desarrollando métodos de filtrado más robustos para asegurar que los datos de entrenamiento sigan siendo beneficiosos y libres de sesgos.

Además, mientras el enfoque actual se mantiene en el preentrenamiento continuo, también es prioridad explorar métodos para entrenar LLMs en japonés desde cero. El objetivo es evaluar la efectividad del corpus no solo en tareas soportadas, sino también en capturar una comprensión más amplia del idioma.

#Conclusión

En resumen, este proyecto ha construido con éxito un sustancial corpus web japonés al extraer y refinar texto del archivo Common Crawl. El conjunto de datos resultante se presenta como el más grande disponible para entrenar LLMs en japonés, y su eficacia ha sido validada a través de experimentos de preentrenamiento que demuestran mejoras consistentes en rendimiento.

El enfoque en la calidad, los metodos de extracción meticulosos y los rigurosos procesos de filtrado han dado como resultado un recurso utilizable que puede mejorar significativamente el entrenamiento y el rendimiento de los modelos de lenguaje japonés. A medida que el trabajo futuro continúa refinando y desarrollando este corpus, hay un gran potencial para avanzar en las capacidades de procesamiento de lenguaje natural en el contexto japonés.