El impacto de la IA en las creencias sobre la verificación de hechos

La desinformación es un gran problema hoy en día. Puede influir en la opinión de la gente sobre temas importantes como el cambio climático, las vacunas y la política. La Verificación de hechos es una forma de reducir el impacto de la información falsa, pero con tanta info disponible en línea, puede ser difícil de manejar. Muchos creen que la inteligencia artificial (IA) puede ayudar con la verificación de hechos evaluando rápido si un reclamo es verdadero o falso.

Los modelos de lenguaje de IA recientes han demostrado que pueden manejar tareas de verificación de hechos bastante bien. Sin embargo, necesitamos saber cómo reacciona la gente ante la información proporcionada por estos modelos. Este artículo analizará cómo las verificaciones de hechos generadas por IA afectan las Creencias de la gente sobre noticias políticas y su disposición a compartir esas noticias.

#El papel de la verificación de hechos

La verificación de hechos tiene como objetivo corregir la desinformación. En muchas situaciones, puede reducir el número de personas que creen en afirmaciones falsas y evitar que compartan esa información. Pero hacerlo a gran escala es un desafío debido a la enorme cantidad de contenido que hay en línea.

Investigadores y empresas de redes sociales están buscando formas automatizadas de detectar desinformación y verificar hechos. Un buen sistema de verificación de hechos debería poder encontrar afirmaciones, reunir evidencia, determinar la verdad de esas afirmaciones y explicar sus hallazgos.

Los métodos de IA, especialmente aquellos que entienden el lenguaje, se utilizan a menudo para desarrollar estos sistemas. Sin embargo, crear un sistema funcional que pueda manejar toda la información en internet sigue siendo un gran reto.

#Cómo puede ayudar la IA

Los desarrollos recientes en modelos de lenguaje grandes (LLMs) presentan una posible solución. Estos modelos están entrenados en grandes conjuntos de datos de internet, incluyendo artículos de noticias, libros y sitios web. Son conocedores de varios temas y han mostrado resultados prometedores en tareas como resumir información y reconocer entidades en texto.

Los LLMs incluso han aprobado exámenes difíciles diseñados para humanos. Usar estos modelos para la verificación automatizada de hechos parece prometedor porque parecen tener las habilidades necesarias para identificar y verificar afirmaciones. Por ejemplo, investigaciones recientes indican que ChatGPT, un LLM muy conocido, puede evaluar la credibilidad de las fuentes de noticias y verificar declaraciones sin necesidad de configuración especial.

Los mensajes de los LLM pueden, a veces, superar a los creados por humanos al corregir desinformación en redes sociales. Estos modelos pueden proporcionar explicaciones convincentes para su información y participar en discusiones con los usuarios para dar contexto adicional.

El éxito de usar LLMs en la verificación de hechos depende de qué tan bien los humanos los integren en el mundo de la información digital. Desafortunadamente, la interacción humana con la IA es complicada. Estudios anteriores muestran que aunque la IA a menudo se ve como objetiva, la confianza en la IA depende de varios factores, como expectativas personales, cuán interactivo es el sistema y si la IA comparte información sobre sus recomendaciones.

Por lo tanto, es crucial analizar cómo la gente interactúa con la información proporcionada por los mejores LLMs antes de implementar estos modelos a gran escala.

#El experimento

Para estudiar los efectos de la verificación de hechos generada por IA, realizamos un experimento controlado. Queríamos ver cómo el ver información de verificación de hechos de ChatGPT impactaría lo que la gente cree sobre y comparte en noticias políticas.

Reunimos una muestra representativa de participantes de EE. UU. Cada participante vio los mismos 40 encabezados de noticias políticas reales. La mitad eran Verdaderos y la otra mitad Falsos. También incluían encabezados tanto pro-Demócrata como pro-Republicano.

Los participantes se dividieron en dos grupos: uno centrado en la creencia y el otro en compartir. El objetivo era ver si los participantes pensaban que los encabezados eran precisos o si los compartirían en redes sociales. Los participantes respondieron estas preguntas por separado porque pensar en si un encabezado es verdadero puede cambiar qué tan probable es que lo compartan.

Creamos tres condiciones para los participantes: un grupo de control que no vio ninguna verificación de hechos, una condición forzada donde tuvieron que ver verificaciones de hechos generadas por IA, y una condición opcional donde podían elegir ver las verificaciones al hacer clic en un botón.

#Precisión de la verificación de hechos de IA

En nuestros estudios, analizamos qué tan precisa era ChatGPT al verificar hechos. Identificó correctamente los encabezados verdaderos el 15% de las veces y etiquetó incorrectamente el 20% de los encabezados verdaderos como falsos. Para el 65% de los encabezados verdaderos, ChatGPT no estaba seguro. En contraste, para los encabezados falsos, la IA no estaba segura solo el 10% de las veces y etiquetó correctamente el 90% como falsos.

Esto sugiere que, aunque ChatGPT puede identificar contenido falso con precisión, tiene más problemas con los encabezados verdaderos y a menudo admite cuando no tiene suficiente información.

#La efectividad de la verificación de hechos de IA

Para medir cuán efectiva fue la verificación de hechos de IA, observamos si impactaba las creencias de los participantes y sus intenciones de compartir para encabezados verdaderos y falsos. Nuestro objetivo era ver si las verificaciones de hechos de IA ayudaban a la gente a diferenciar entre encabezados verdaderos y falsos.

Curiosamente, nuestro análisis mostró que ver verificaciones de hechos generadas por IA no cambió significativamente la capacidad de los participantes para distinguir entre encabezados verdaderos y falsos. Para ambos grupos, el de creencia y el de compartir, aquellos que fueron forzados a ver verificaciones de hechos de IA experimentaron una ligera reducción en su capacidad de distinción en comparación con el grupo de control.

Esto es sorprendente porque esperábamos que la información generada por IA ayudara. Sin embargo, parece que los participantes no fueron influenciados por las respuestas de la IA, aunque esta proporcionó información útil para los encabezados falsos.

#Entendiendo el impacto de la precisión

Luego, profundizamos en cómo la precisión de las verificaciones de hechos de IA podría afectar a los participantes. Necesitábamos considerar diferentes escenarios basados en si los juicios de la IA eran correctos, incorrectos o inciertos.

Nuestros hallazgos mostraron que cuando la IA etiquetó erróneamente encabezados verdaderos como falsos, perjudicó las creencias de los participantes en esos encabezados verdaderos. Por otro lado, cuando la IA estaba incierta acerca de los encabezados falsos, los participantes eran más propensos a creer en ellos.

Para las personas que estaban dispuestas a compartir noticias, ver verificaciones de hechos de IA aumentó su intención de compartir encabezados verdaderos, pero también llevó a una mayor intención de compartir encabezados falsos cuando la IA mostró incertidumbre.

#Elegir ver vs. optar por no ver

También analizamos el comportamiento de aquellos que tenían la opción de ver verificaciones de hechos de IA. Los participantes que eligieron ver esta información eran más propensos a creer en encabezados falsos. En contraste, no hubo una diferencia significativa en la creencia en encabezados verdaderos entre quienes optaron por verlo y quienes no.

Los que vieron verificaciones de hechos de IA mostraron una fuerte inclinación a compartir todo tipo de contenido. Esto resultó en un aumento de las intenciones de compartir tanto para encabezados verdaderos como falsos.

Este patrón plantea preguntas sobre por qué la gente podría elegir ver esta información. Podría ser que ya hayan tomado una decisión sobre un encabezado y estén buscando confirmar sus creencias o ver si la IA daría una respuesta diferente.

#La influencia de las actitudes hacia la IA

El estudio también exploró cómo las actitudes de los participantes hacia la IA afectaron su comportamiento. Los participantes que tenían actitudes más positivas hacia la IA eran más propensos a compartir todo el contenido, ya sea verdadero o falso, después de ver verificaciones de hechos de IA.

Además, cuando los participantes optaron por no ver las verificaciones de hechos de IA, su creencia en los encabezados verdaderos disminuyó cuando tenían una visión favorable de la IA. Esta paradoja plantea preguntas sobre la relación entre las creencias en los encabezados de noticias y las actitudes hacia la tecnología de IA.

#Influencia partidista en las creencias

Otro elemento que consideramos fue las creencias políticas de los participantes. Analizamos si la afiliación política de los participantes influía en su aceptación de información. Esto es particularmente importante porque los encabezados pueden a menudo favorecer a diferentes partidos políticos.

Nuestros hallazgos mostraron que las personas eran menos propensas a creer en encabezados verdaderos que contradecían sus puntos de vista políticos. De manera similar, eran menos propensas a aceptar encabezados falsos cuando había un desencuadre entre su afiliación política y el contenido del encabezado.

Sin embargo, cuando los participantes eligieron ver información de verificación de hechos de IA, los efectos del desencuadre político sobre la creencia en encabezados falsos fueron menos significativos. Esto sugiere que el acceso a la información generada por IA podría alterar cómo las personas procesan información cargada políticamente.

#Limitaciones del estudio

Aunque nuestro estudio proporciona datos interesantes sobre la interacción entre IA y humanos en la verificación de hechos, hay limitaciones en nuestros hallazgos. Dado que nos enfocamos en una versión específica de un modelo de IA, los resultados pueden no ser aplicables a otros sistemas de IA.

Además, el experimento utilizó una pequeña selección de encabezados de noticias políticas. No podemos suponer que los mismos resultados ocurrirían en diferentes contextos o con una gama más amplia de historias de noticias.

Finalmente, los participantes fueron seleccionados a través de una plataforma en línea, lo que puede no reflejar completamente las complejidades de los comportamientos en la vida real con respecto al consumo y la compartición de noticias.

#Conclusión

La desinformación es un desafío significativo que sigue afectando a la sociedad. Aunque la IA muestra promesas para ayudar con la verificación de hechos, nuestro estudio revela posibles desventajas en cómo la gente interactúa con esta información. La IA es capaz de identificar con precisión encabezados falsos, pero su efectividad en guiar a las personas a creer en información verdadera es limitada.

Los participantes expuestos a verificaciones de hechos generadas por IA no mostraron una marcada habilidad para discernir información creíble de contenido engañoso. En cambio, surgieron efectos perjudiciales cuando la IA identificó erróneamente encabezados verdaderos o expresó incertidumbre sobre los falsos.

Además, las actitudes de los participantes hacia la IA y sus creencias políticas influyeron en cómo interactuaron con la información de verificación de hechos. A medida que la tecnología de IA se integra más en nuestro paisaje informativo, se necesita más investigación para entender sus riesgos y ventajas.

Al examinar la interacción humana con la IA en la verificación de hechos, podemos comenzar a desarrollar estrategias más efectivas para combatir la desinformación en nuestro mundo cada vez más digital.