Abordando la subjetividad en el periodismo

Este documento está protegido por derechos de autor, y su uso está permitido bajo la Licencia Creative Commons Atribución 4.0 Internacional.

#Introducción

En el mundo del periodismo, es crucial identificar cuándo un texto expresa opiniones personales en lugar de información factual. Esto es importante porque las noticias sesgadas pueden moldear la opinión pública, incluso si algunas partes de un artículo se basan en hechos. La capacidad de determinar automáticamente si un texto es subjetivo u objetivo podría ayudar muchísimo a editores y verificadores de hechos.

#El Problema de la Subjetividad en los Artículos de Noticias

Los artículos de noticias a menudo mezclan hechos con opiniones. Esta combinación puede llevar a confusión entre los lectores, ya que las declaraciones subjetivas pueden distorsionar la verdad. Nuestra tarea es clasificar las oraciones de los artículos de noticias como subjetivas, lo que significa que reflejan puntos de vista personales, u objetivas, lo que significa que presentan información factual sin sesgo personal.

Uno de los principales desafíos que enfrentamos es el desbalance de clases en el conjunto de datos. A menudo hay muchas más oraciones objetivas que subjetivas. Este desbalance puede dar lugar a Modelos que son malos identificando oraciones subjetivas. Además, la idea de subjetividad puede variar entre diferentes culturas y contextos. Así que, reescribir oraciones puede que no capture el aspecto periodístico de subjetividad.

#Nuestro Enfoque para la Generación de Datos

Para abordar estos problemas, creamos nuevos datos de entrenamiento usando un método que involucra modelos GPT-3. Basamos nuestro trabajo en una lista de verificación derivada de estándares periodísticos para asegurarnos de que los textos generados reflejen varios estilos Subjetivos. Esto nos permite crear materiales de entrenamiento que representan mejor el tema.

Realizamos experimentos en tres idiomas: inglés, turco y alemán. Nuestros resultados muestran que emplear diferentes estilos subjetivos mejora el rendimiento de los modelos diseñados para detectar subjetividad. Esto subraya la importancia de las diversas expresiones subjetivas dentro de cada idioma.

Otro hallazgo clave es que usar sobre-muestreo basado en estilos, que significa crear más muestras de estilos subjetivos, funciona mejor que la paráfrasis normal, particularmente en turco e inglés. Sin embargo, notamos que a veces el GPT-3 tiene problemas para producir textos de calidad en idiomas que no son el inglés.

#Creando Una Lista de Verificación de Subjetividad

Para generar textos que reflejen una perspectiva periodística, desarrollamos una lista de verificación. Consultamos a editores para entender cómo evalúan la subjetividad en los artículos. Después de recopilar esta información, la cruzamos con la literatura existente en periodismo y lingüística. El resultado fue una lista de verificación completa que incluye estilos distintos que representan varios ángulos subjetivos.

#Diseñando Prompts para la Generación de Textos

Nuestro siguiente paso fue crear prompts en inglés, turco y alemán para instruir a los modelos GPT-3 sobre cómo generar textos basados en los estilos identificados. Inicialmente, creamos una plantilla en inglés, pero no funcionó bien en otros idiomas. Así que, adaptamos las plantillas para cada idioma por separado.

Los primeros dos autores de nuestro trabajo, siendo hablantes nativos de turco y alemán, discutieron los prompts en inglés y aseguraron que las traducciones capturaran el significado deseado. Este enfoque mantuvo la coherencia entre idiomas mientras permitía flexibilidad para las diferencias estilísticas.

#Generación de Datos y Técnicas de Equilibrio

Para generar nuestro conjunto de datos, primero medimos la brecha entre el número de oraciones subjetivas y objetivas. Luego seleccionamos muestras al azar para crear un conjunto de datos balanceado. Al enfocarnos en las diferencias en el número de muestras, aseguramos que nuestros modelos tuvieran suficientes datos para aprender.

Usamos técnicas de sub-muestreo y sobre-muestreo para manejar el desbalance de clases. El sub-muestreo significa eliminar muestras objetivas hasta que coincidan con el número de muestras subjetivas, mientras que el sobre-muestreo implica agregar muestras generadas al conjunto de datos original para balancear las clases.

#Entrenando Modelos Específicos para Cada Idioma

Para nuestra tarea de detección de subjetividad, dependimos de modelos específicos para cada idioma: Roberta-base para inglés, German Bert para alemán y BERTurk para turco. Estos modelos han demostrado ser efectivos para tareas en sus respectivos idiomas. Limité el tamaño de la entrada para asegurar un procesamiento eficiente y realizamos entrenamientos a lo largo de varios epochs para refinar los modelos.

#Evaluando Nuestros Métodos

Después de entrenar los modelos, evaluamos qué tan bien las nuevas muestras generadas con GPT-3 mejoraron la precisión de los modelos. Comparamos el rendimiento de nuestros modelos con tres líneas base: aquellos entrenados solo con Conjuntos de datos originales, aquellos entrenados con paráfrasis normal y aquellos que usaron textos Objetivos parafraseados.

Nuestros resultados mostraron que el sobre-muestreo basado en estilos mejoró significativamente el rendimiento de los modelos para inglés y turco. Sin embargo, no obtuvo los mismos beneficios para los transformadores alemanes. Entre los diversos estilos, encontramos que ciertos estilos como el partidista y el exagerado funcionaron bien para turco, mientras que los estilos de propaganda y exagerado tuvieron un efecto positivo en los modelos en inglés.

#Comparando Diferentes Modelos de GPT-3

También queríamos explorar cómo se desempeñaron diferentes modelos de GPT-3 en la generación de muestras de entrenamiento. Para ello, comparamos text-davinci-003 con gpt-3.5-turbo (ChatGPT). Aunque no hubo diferencias significativas en el rendimiento en general, se notaron algunas mejoras en ciertos estilos subjetivos usando el modelo de ChatGPT.

#Evaluación Cualitativa de los Textos Generados

Además de las evaluaciones cuantitativas, realizamos una evaluación cualitativa de los textos generados. Observamos la naturalidad, corrección y relevancia de los textos producidos por ambos modelos. Descubrimos que las muestras en inglés a menudo contenían frases exageradas y a veces usaban lenguaje ofensivo. En el caso de las muestras en turco, notamos que las referencias en primera persona eran comunes, haciendo que los textos se sintieran menos formales. Las muestras en alemán ocasionalmente contenían un lenguaje que no era adecuado para el contexto.

#Conclusión

En resumen, nuestro estudio empleó muestreo basado en estilos con modelos GPT-3, enfocándose en estilos periodísticos para abordar la escasez de datos en la detección de subjetividad. Nuestros experimentos destacaron que este enfoque es más efectivo que la paráfrasis estándar. Diferentes estilos proporcionaron beneficios variados dependiendo del idioma, reflejando distinciones culturales y sesgos potenciales en los datos.

Nuestro trabajo es específico para cada idioma y está limitado por la disponibilidad de datos de alta calidad para idiomas menos comunes. Las futuras investigaciones deberían centrarse en encontrar mejores modelos para estos idiomas y mejorar la redacción de prompts para lograr resultados más precisos. Además, la selección de muestras juega un papel fundamental en lograr una transferencia de estilo efectiva, lo que planeamos investigar más a fondo en estudios futuros.