Detectando lenguaje antisemita codificado en línea
Un método para identificar nuevos términos antisemitas en discusiones en redes sociales.
― 8 minilectura
Tabla de contenidos
- Antecedentes
- El Desafío del Lenguaje Codificado
- La Importancia de las Herramientas de Detección
- Resumen de la Metodología
- Recolección de Datos
- Preprocesamiento de Texto
- Extracción de Términos Antisemitas Codificados
- Fase 1: Extracción de Términos Codificados Emergentes
- Fase 2: Análisis Semántico
- Resultados y Discusión
- Construcción de un Estándar de Oro
- Precisión y Efectividad del Proceso
- Aplicaciones Prácticas de la Investigación
- Conclusión
- Fuente original
- Enlaces de referencia
El Discurso de odio en línea es un problema creciente para las plataformas de redes sociales. Un gran problema es el uso de Lenguaje codificado por grupos extremistas. Este tipo de lenguaje ayuda a los usuarios a conectarse entre sí mientras evitan la Detección por parte de los moderadores. El lenguaje codificado cambia rápidamente y su uso puede variar mucho con el tiempo. Este artículo presenta un método para detectar nueva terminología de odio, centrándose específicamente en las discusiones antisemitas en línea.
Antecedentes
El discurso de odio, particularmente los comentarios antisemitas, se ha convertido en una gran preocupación en los últimos años. Muchas personas han notado un aumento en los incidentes antisemitas, lo que ha llevado a investigar cómo detectar y responder mejor a este tipo de odio en línea. El lenguaje codificado a menudo pasa desapercibido, lo que hace importante desarrollar métodos efectivos para su detección. Las plataformas de redes sociales a menudo están despreparedas para manejar este lenguaje en evolución, lo que puede perjudicar a individuos y a la sociedad en general.
El Desafío del Lenguaje Codificado
El lenguaje codificado tiene un doble significado; puede parecer inofensivo para algunos pero transmitir un mensaje más profundo y odioso para quienes están al tanto. Por ejemplo, el término "globalista" puede parecer un término político neutral pero puede implicar creencias antisemitas cuando se usa en ciertos contextos. Aquellos que conocen la connotación antisemita pueden reconocer el mensaje subyacente, mientras que otros pueden pasarlo por alto por completo.
Esto crea un desafío para las plataformas de redes sociales, que dependen de sistemas automatizados para identificar y bloquear el discurso de odio. A menudo, estos sistemas son incapaces de detectar formas más sutiles de discurso de odio que están enmascaradas por el lenguaje codificado, lo que lleva a la proliferación de contenido dañino entre los grupos extremistas.
La Importancia de las Herramientas de Detección
Para combatir el aumento del discurso de odio codificado, necesitamos herramientas automatizadas que ayuden a monitorear e identificar nuevos términos y expresiones que están surgiendo en las discusiones en línea. Un sistema de detección efectivo debería ser capaz de reconocer tendencias y adaptarse a los cambios en el uso del lenguaje, lo cual es crucial en un entorno en línea de ritmo rápido.
La supervisión humana por sí sola es insuficiente debido al volumen de publicaciones en las redes sociales. Las herramientas automatizadas pueden proporcionar asistencia valiosa al señalar contenido potencialmente dañino para una revisión posterior. Este proceso ayuda a asegurar que el discurso antisemita y otras formas de odio se aborden de manera más efectiva.
Resumen de la Metodología
Este documento describe una metodología propuesta para detectar nuevo lenguaje codificado antisemita analizando publicaciones de plataformas de redes sociales frecuentadas por usuarios extremistas. La metodología comienza con una recopilación de publicaciones que contienen términos antisemitas ya conocidos. Al examinar estas publicaciones, los investigadores pueden identificar expresiones y patrones comunes en el uso del lenguaje.
Recolección de Datos
El proceso de recolección de datos implica raspar publicaciones de redes sociales que están relacionadas con temas antisemitas. Esto se logra utilizando términos semilla específicos que han sido identificados como comúnmente asociados con el discurso antisemita. Luego, las publicaciones se examinan por su contenido y contexto para determinar si llevan un mensaje antisemita o no.
Preprocesamiento de Texto
Antes de analizar el texto, debe limpiarse y prepararse para un examen posterior. Este proceso implica varios pasos, incluyendo la eliminación de URLs, poner el texto en minúsculas y eliminar palabras comunes que no aportan mucho. Estos pasos ayudan a normalizar los datos, facilitando el análisis.
Una vez que el texto ha sido preprocesado, los investigadores pueden centrarse en extraer frases que son significativas para su estudio. Esto implica identificar bi-gramas (pares de palabras) y tri-gramas (grupos de tres palabras) que ocurren frecuentemente en las publicaciones. También es importante filtrar cualquier expresión mal formada o términos ya identificados para concentrarse en la nueva terminología.
Extracción de Términos Antisemitas Codificados
Una vez que se han recopilado y limpiado los datos, el siguiente paso es extraer posibles nuevos términos antisemitas codificados de las publicaciones. Este proceso implica analizar las relaciones entre palabras para identificar expresiones que pueden tener significados antisemitas.
El proceso de extracción consta de dos fases principales: la primera se centra en encontrar términos en tendencia, mientras que la segunda evalúa el significado y contexto de esos términos.
Fase 1: Extracción de Términos Codificados Emergentes
En la primera fase, los investigadores utilizan técnicas establecidas de Procesamiento de Lenguaje Natural (NLP) para identificar bi-gramas y tri-gramas populares. Estos términos se filtran para eliminar cualquiera que no sea emergente o codificado. Esto ayuda a asegurar que el enfoque siga siendo el lenguaje recién adaptado utilizado por los grupos extremistas.
Fase 2: Análisis Semántico
En la segunda fase, el enfoque se desplaza a determinar si los términos recién extraídos son realmente antisemitas. Esto se logra comparando el uso contextual de estos términos con expresiones antisemitas conocidas. Al examinar el lenguaje circundante, los investigadores pueden evaluar si un término lleva una implicación antisemita.
Para facilitar este análisis, los investigadores utilizan modelos de lenguaje preentrenados que pueden calcular similitudes entre frases. Al identificar los términos y contextos más relacionados, se vuelve más fácil categorizar las nuevas expresiones que han sido descubiertas.
Resultados y Discusión
La metodología descrita aquí ha demostrado su potencial para detectar el lenguaje antisemita en evolución en espacios de redes sociales. Al emplear una combinación de raspado de datos, preprocesamiento de texto y técnicas de NLP, los investigadores han desarrollado una herramienta efectiva para identificar el discurso de odio que puede pasar desapercibido.
Construcción de un Estándar de Oro
Para evaluar la efectividad de la metodología propuesta, los investigadores desarrollaron un estándar de oro basado en recursos existentes y nuevos términos. Este estándar de oro sirve como referencia para identificar términos que llevan significados antisemitas.
Los términos conocidos fueron compilados a partir de glosarios establecidos, mientras que nuevos términos fueron identificados a través de búsquedas en internet para determinar su asociación con el antisemitismo. Este enfoque dual ayudó a asegurar que el sistema de detección fuera completo y capaz de acomodar tanto la terminología conocida como la emergente.
Precisión y Efectividad del Proceso
El sistema propuesto ha sido probado utilizando una variedad de métodos de extracción, obteniendo resultados prometedores. La combinación de técnicas estándar y avanzadas ha mostrado altas tasas de recuperación, permitiendo la identificación de un número significativo de términos antisemitas verdaderos. Sin embargo, todavía hay margen de mejora en precisión, ya que algunos términos benignos fueron marcados incorrectamente como antisemitas.
Los esfuerzos futuros se centrarán en refinar estas técnicas para reducir la probabilidad de falsos positivos. Esto incluye explorar métodos adicionales de NLP y mejorar el análisis de similitud semántica para asegurar que los términos antisemitas identificados con precisión sean priorizados.
Aplicaciones Prácticas de la Investigación
Los hallazgos de esta investigación tienen importantes implicaciones para combatir el antisemitismo en las plataformas de redes sociales. Al proporcionar un método para detectar nuevo lenguaje codificado, este trabajo puede ayudar a las empresas de redes sociales a mejorar sus herramientas de moderación de discurso de odio.
La detección automatizada de términos antisemitas emergentes también puede guiar a los monitores humanos en sus esfuerzos por revisar el contenido señalado. Esta colaboración entre herramientas automatizadas y supervisión humana es esencial para crear entornos en línea más seguros.
Conclusión
En conclusión, esta investigación proporciona un marco valioso para detectar lenguaje codificado antisemita emergente en discusiones de redes sociales. Al utilizar una combinación de raspado de datos, técnicas de NLP y análisis semántico, los investigadores pueden identificar efectivamente términos que llevan significados antisemitas.
A medida que el lenguaje evoluciona y surgen nuevas formas de discurso de odio, es crucial que los métodos de detección mantengan el ritmo. Esta metodología sirve como un punto de partida para investigaciones y desarrollos adicionales en la lucha contra el discurso de odio en línea. El objetivo final es crear espacios en línea más seguros e inclusivos para todos los usuarios, libres de la amenaza de odio y discriminación.
Título: Using LLMs to discover emerging coded antisemitic hate-speech in extremist social media
Resumen: Online hate speech proliferation has created a difficult problem for social media platforms. A particular challenge relates to the use of coded language by groups interested in both creating a sense of belonging for its users and evading detection. Coded language evolves quickly and its use varies over time. This paper proposes a methodology for detecting emerging coded hate-laden terminology. The methodology is tested in the context of online antisemitic discourse. The approach considers posts scraped from social media platforms, often used by extremist users. The posts are scraped using seed expressions related to previously known discourse of hatred towards Jews. The method begins by identifying the expressions most representative of each post and calculating their frequency in the whole corpus. It filters out grammatically incoherent expressions as well as previously encountered ones so as to focus on emergent well-formed terminology. This is followed by an assessment of semantic similarity to known antisemitic terminology using a fine-tuned large language model, and subsequent filtering out of the expressions that are too distant from known expressions of hatred. Emergent antisemitic expressions containing terms clearly relating to Jewish topics are then removed to return only coded expressions of hatred.
Autores: Dhanush Kikkisetti, Raza Ul Mustafa, Wendy Melillo, Roberto Corizzo, Zois Boukouvalas, Jeff Gill, Nathalie Japkowicz
Última actualización: 2024-01-23 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2401.10841
Fuente PDF: https://arxiv.org/pdf/2401.10841
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.ajc.org/translatehate/globalist
- https://bjs.ojp.gov/library/publications/hate-crime-recorded-law-enforcement-2010-2019
- https://bit.ly/2xeeF5h
- https://www.ojp.gov/pdffiles1/nij/grants/304532.pdf
- https://bit.ly/41FV6ei
- https://decoding-antisemitism.eu/
- https://bit.ly/45kEtYB
- https://bit.ly/3MIjKpt
- https://www.r2pris.org/glossary.html
- https://bit.ly/3MKoqfq
- https://bit.ly/3pGI96Z
- https://bit.ly/41GNvvX
- https://shorturl.at/dgz17
- https://www.ajc.org/translatehate/New-World-Order
- https://www.ajc.org/translatehateglossary
- https://www.pyrratech.com/
- https://www.splcenter.org/fighting-hate/intelligence-report/2003/cultural-marxism-catching
- https://huggingface.co/learn/nlp-course/chapter7/3