Mejorando la detección de contenido patrocinado con ayuda de IA

En los últimos años, las redes sociales han cambiado cómo funciona la publicidad, especialmente con el auge de los influencers. Estos son personas que ganan dinero promocionando productos en sus publicaciones sin siempre dejar claro que son anuncios. Esto ha generado preocupaciones sobre si los usuarios saben cuándo les están vendiendo algo. Para abordar esto, se han implementado regulaciones para garantizar que los anuncios estén claramente marcados. Sin embargo, hacer cumplir estas reglas es complicado porque hay tantos influencers y publicaciones para monitorear.

Una posible solución es identificar automáticamente el contenido patrocinado. Esto podría ayudar a las agencias a controlar si las empresas divulgan correctamente sus anuncios. Los métodos actuales principalmente usan aprendizaje automático para clasificar si una publicación es un anuncio. Sin embargo, la precisión de estos modelos depende en gran medida de Etiquetas Humanas, que a menudo no están de acuerdo entre sí. Esta inconsistencia puede dar lugar a modelos poco fiables.

Para mejorar la etiquetación, sugerimos usar IA, específicamente ChatGPT, para ayudar en el Proceso de etiquetado. La idea es que al proporcionar explicaciones cortas e identificar características importantes, podemos ayudar a los Anotadores humanos a tomar mejores decisiones. Nuestros tests muestran que usar este enfoque aumenta el acuerdo entre los anotadores y mejora la precisión de sus etiquetas. Esto podría ayudar a asegurar que se sigan más de cerca las reglas publicitarias.

#El Problema del Contenido Patrocinado

El auge de los influencers ha cambiado no solo la publicidad, sino también cómo los usuarios interactúan con el marketing. Los influencers a menudo mezclan promoción con su contenido habitual, lo que dificulta que los usuarios sepan qué es un anuncio. Esto es un problema porque existen regulaciones para proteger a los consumidores de ser engañados. Históricamente, las reglas publicitarias se aplicaban a medios tradicionales, que separaban claramente los anuncios de otros contenidos.

La razón principal detrás de exigir que los anuncios estén etiquetados es prevenir el engaño. Aunque hay leyes que requieren que las publicaciones patrocinadas sean marcadas, comprobar si los influencers cumplen estas reglas es complicado. Por ejemplo, en el Reino Unido, hay una autoridad de competencia que asegura que los influencers se ajusten a estas normas. Utilizan algunos métodos automatizados, pero aún queda un gran vacío por llenar.

El objetivo de detectar contenido patrocinado automáticamente simplificaría la supervisión del cumplimiento. Sin embargo, la mayoría de los métodos hoy en día se centran en crear modelos que puedan clasificar correctamente los anuncios basándose en datos pasados. Un gran problema con estos modelos es que dependen de anotaciones humanas para entrenarlos. Desafortunadamente, estas anotaciones a menudo no coinciden, lo que dificulta crear sistemas de detección fiables.

Además, los sistemas completamente automatizados no funcionarán solos para el cumplimiento legal. Los humanos todavía necesitan tomar decisiones sobre la aplicación de reglas y potencialmente penalizar a las empresas. Esto requiere un nuevo enfoque que combine la inteligencia humana con el apoyo de la IA.

#Un Nuevo Marco para la Anotación

Para mejorar la precisión del etiquetado de contenido patrocinado, proponemos una nueva forma de anotar publicaciones. Este método implica usar explicaciones generadas por IA que destacan características clave de las publicaciones. Estas explicaciones tienen como objetivo ayudar a los anotadores a tomar mejores decisiones. Nuestra investigación muestra que este nuevo enfoque lleva a mejores puntuaciones de Acuerdo entre anotadores, lo que significa que es más probable que etiqueten publicaciones de manera consistente.

Al usar explicaciones, también podemos mejorar la calidad de los datos utilizados para entrenar modelos. Los datos de alta calidad son esenciales porque mejoran la fiabilidad y precisión de los modelos utilizados para detectar contenido patrocinado. La capacidad de explicar las salidas de la IA es especialmente importante en situaciones regulatorias. Los líderes del ámbito legal necesitan entender y confiar en los resultados producidos por estos modelos, ya que son responsables de hacer cumplir el cumplimiento.

#Investigación Relacionada

La mayoría de las investigaciones sobre la detección de contenido patrocinado lo tratan como un problema de clasificación de texto. En estos estudios, los modelos generalmente se entrenan utilizando publicaciones que están claramente marcadas como anuncios, a menudo usando hashtags para etiquetar. Desafortunadamente, no hay mucho foco en cuán bien se desempeñan estos modelos cuando se prueban contra datos etiquetados. Muchos estudios crean sus conjuntos de datos sin pautas claras sobre cómo se anotó exactamente el dato. Esto es un problema porque las plataformas de redes sociales no suelen permitir el intercambio de datos, lo que dificulta comparar resultados.

Además, la ausencia de datos etiquetados afecta cuán fiables son los resultados. Muchos modelos no se prueban exhaustivamente en anuncios no revelados, lo cual es crítico para evaluar su efectividad. En el lado técnico, estudios previos han utilizado varios métodos, incluyendo técnicas tradicionales de aprendizaje automático, redes neuronales e incluso arquitecturas de aprendizaje profundo que combinan texto con imágenes y otros tipos de datos.

En nuestro estudio, utilizamos algunos de estos modelos existentes, junto con ChatGPT, para clasificar publicaciones. Si bien no hay mucha investigación revisada por pares sobre ChatGPT debido a su reciente aparición, los reportes iniciales sugieren que se desempeña bien en tareas de clasificación de texto.

La investigación que combina ciencias de la computación con campos como comunicación y derecho ha examinado las características de los influencers y la frecuencia de sus anuncios. Sin embargo, pocos estudios han examinado cómo las explicaciones generadas por IA pueden mejorar los procesos de etiquetado. Nuestro documento tiene como objetivo llenar este vacío al enfocarse en cómo la IA puede apoyar mejor la detección de contenido patrocinado.

#Recolección de Datos y Configuración Experimental

Para nuestra investigación, recopilamos nuestro propio conjunto de datos de publicaciones de Instagram. Elegimos 100 influencers con base en EE.UU., dividiéndolos en dos grupos: micro-influencers (los que tienen menos seguidores) y mega-influencers (los que tienen muchos seguidores). Recopilamos datos de sus publicaciones utilizando una herramienta de datos de redes sociales. Nuestro conjunto de datos incluía varias publicaciones, con una gran parte proveniente de mega-influencers.

El primer paso en nuestro experimento fue elegir el mejor tipo de clasificador para generar explicaciones. Examinamos tres modelos: uno que usa regresión logística tradicional, otro basado en una versión ajustada de BERT (un modelo de lenguaje popular) y el tercero usando ChatGPT. Generamos predicciones utilizando la API de OpenAI.

Para medir cuán bien se desempeñaron estos modelos, dividimos nuestros datos por año, designando un año para prueba y los otros para entrenamiento. Este método simula el uso del mundo real donde un modelo clasificaría nuevos datos. Dado que la mayoría de las publicaciones no están marcadas como patrocinadas, equilibramos el conjunto de datos para asegurar que el modelo tuviera suficientes ejemplos positivos y negativos.

Etiquetamos una pequeña muestra de los datos de prueba para evaluar cuán bien los modelos identificaron anuncios no revelados. Varios anotadores revisaron las publicaciones para determinar si eran patrocinadas o no. Calculamos las puntuaciones de acuerdo basándonos en cuán frecuentemente los anotadores coincidían al etiquetar las mismas publicaciones.

#Usando GPT para Explicaciones

En nuestros experimentos, probamos varios prompts con diferentes modelos de la serie GPT-3 y GPT-4. Descubrimos que incluso el modelo más pequeño se desempeñó bien en la detección de contenido patrocinado, pero que los modelos más grandes mostraron mejores resultados, especialmente al explicar su razonamiento detrás de las clasificaciones.

Identificamos una tendencia en ambos modelos más grandes para predecir etiquetas no patrocinadas con más frecuencia que las patrocinadas. Para abordar esto, empleamos varias estrategias para obtener mejores predicciones y explicaciones. Al guiar al modelo para resaltar palabras clave y generar razonamientos antes de clasificar publicaciones, reducimos sesgos y mejoramos la comprensión de las predicciones.

Además, utilizamos técnicas de aprendizaje con pocos ejemplos para afinar cómo el modelo producía explicaciones y probamos varias formas de formular etiquetas para mejorar las predicciones del modelo. Desarrollamos nuestros prompts finales basados en estas prácticas mientras manteníamos los beneficios rápidos y rentables de usar GPT-3.5-turbo.

Una vez que optimizamos el modelo, generamos explicaciones que detallaban por qué una publicación podría considerarse patrocinada. Esto incluía especificar palabras importantes dentro de la publicación para ayudar a los anotadores en sus evaluaciones.

#El Estudio de Usuario

Realizamos un estudio de usuario para entender cómo las explicaciones podrían ayudar a identificar mejor el contenido patrocinado. Los participantes pasaron por una tarea de anotación, etiquetando un conjunto de publicaciones de Instagram como Patrocinadas o No Patrocinadas. El objetivo era doble: ver cómo las explicaciones podrían mejorar la calidad del etiquetado y simular el proceso de regular contenido patrocinado.

La tarea de etiquetado implicaba examinar los pies de foto de las publicaciones para decidir si eran anuncios. Entrenamos a los anotadores sobre lo que constituía contenido patrocinado, proporcionando ejemplos de publicaciones tanto patrocinadas como no patrocinadas. Once voluntarios participaron en nuestro estudio; iban desde novatos sin experiencia en anotación hasta expertos legales conocedores de las normas publicitarias que habían trabajado previamente en tareas similares.

Para crear nuestros grupos de participantes, consideramos sus niveles de experiencia. Algunos no tenían experiencia previa con tareas de anotación, mientras que otros tenían diferentes grados de familiaridad con el proceso. Hicimos que algunos participantes etiquetaran publicaciones tanto con como sin las explicaciones proporcionadas por la IA.

Seleccionamos cuidadosamente una muestra de 200 publicaciones de nuestras etiquetas anteriores. Esto incluía trabajos de varios influencers y asegurándonos de incorporar algunas publicaciones que revelaran claramente los patrocinios para asegurar que los anotadores notaran las divulgaciones.

#Medición del Acuerdo

Es crítico medir el nivel de acuerdo entre anotadores en cualquier tarea de anotación. Esto indica la calidad de los datos creados y refleja cuán fiable es el proceso de toma de decisiones. Usamos varias métricas para evaluar cuán bien los anotadores coincidieron entre sí. Una de estas se llama Alfa de Krippendorff, que mide el acuerdo mientras contabiliza el azar.

El acuerdo absoluto es otra métrica que rastrea cuán a menudo todos los anotadores proporcionaron la misma etiqueta. También evaluamos cuán exactamente los anotadores identificaron publicaciones reveladas. Esto fue esencial ya que verificaba si los anotadores podían etiquetar correctamente publicaciones que declaraban claramente que eran anuncios.

#Encuesta sobre la Experiencia del Usuario

Después de la tarea de etiquetado, realizamos una encuesta para recolectar comentarios de los anotadores sobre su experiencia utilizando las explicaciones proporcionadas por la IA. La encuesta constó de varias preguntas con el objetivo de evaluar cuán útiles encontraron los participantes las explicaciones, cuán precisas las consideraron, y si se sintieron más seguros en sus decisiones.

La mayoría de los anotadores informaron que las explicaciones fueron beneficiosas y precisas. Resaltaron las palabras y frases específicas identificadas por la IA como particularmente útiles, mientras que menos participantes se centraron en el razonamiento detrás de las predicciones. Esto indicó una preferencia por información precisa y procesable en lugar de explicaciones largas.

Los comentarios también revelaron que muchos anotadores encontrarían útil que la IA pudiera indicar la probabilidad de que una publicación fuera patrocinada como parte de las explicaciones.

#Resultados Experimentales

Evaluamos los resultados de tanto la tarea de etiquetado como de la encuesta de experiencia del usuario. Nuestros hallazgos mostraron que proporcionar explicaciones llevó a una notable mejora en las métricas de acuerdo entre anotadores. Específicamente, el acuerdo entre anotadores aumentó, junto con la precisión en la detección de publicaciones reveladas.

Además, el número de publicaciones etiquetadas como patrocinadas aumentó cuando se utilizaron explicaciones, lo que indica que los anotadores estaban más inclinados a clasificar publicaciones como anuncios con el contexto adicional. Esto sugiere que las explicaciones no solo ayudan a los anotadores a tomar decisiones más informadas, sino que también mejoran la fiabilidad general de los datos producidos.

#Impacto en Diferentes Niveles de Experiencia

Evaluamos cómo las anotaciones aumentadas afectaron a los grupos según su experiencia. Cada subgrupo mostró mejoras en el acuerdo y la calidad de etiquetado. Los expertos legales se beneficiaron más de las explicaciones, indicando que pudieron identificar publicaciones patrocinadas más precisamente que los no expertos.

Sin embargo, es importante notar que aunque un alto acuerdo es valioso, no significa necesariamente que la identificación general de patrocinios fuera correcta. Las métricas de acuerdo miden cuán consistentemente los anotadores aplican definiciones, lo que no garantiza que sus juicios sean correctos.

También verificamos si las explicaciones introducían algún sesgo. La preocupación es que los anotadores podrían depender demasiado de las pistas sugeridas por la IA, lo que podría distorsionar la calidad de los datos. Para investigar esto, observamos si los anotadores cambiaron sus decisiones basándose en las predicciones de la IA.

#Conclusión

Nuestra investigación demuestra que añadir explicaciones generadas por IA al proceso de anotación mejora significativamente el acuerdo entre anotadores y la calidad general de los datos etiquetados. Los anotadores fueron más capaces de identificar publicaciones patrocinadas, lo que llevó a modelos mejorados para detectar dicho contenido. Además, la retroalimentación de la encuesta de experiencia del usuario indica que la mayoría de los participantes encontró valiosas las explicaciones de la IA y que estas explicaciones aumentaron su confianza en la toma de decisiones.

Este nuevo enfoque de anotación tiene el potencial de mejorar la transparencia y fiabilidad de las prácticas de marketing en redes sociales. A medida que aumenta la supervisión regulatoria, tener etiquetado claro y consistente se volverá cada vez más crítico.

Si bien nuestro estudio tiene limitaciones, incluyendo posibles sesgos introducidos por la IA y variación en el tamaño de la muestra, ofrece valiosos conocimientos sobre los que la investigación futura puede construir. Recomendamos una exploración más profunda del impacto de las explicaciones asistidas por IA en la calidad de la anotación y el sesgo.

En un mundo donde la aplicación digital y el monitoreo del mercado seguirán creciendo, implementar técnicas transparentes y explicables es esencial. Nuestros hallazgos contribuyen a los esfuerzos en curso para hacer que el marketing de influencers sea más responsable y confiable para los usuarios, asegurando que estén al tanto de lo que constituye un anuncio.