Evaluando el impacto real de la IA a través de los medios de comunicación
Examinando cómo las noticias moldean las opiniones sobre los efectos negativos de la IA.
Mowafak Allaham, Kimon Kieslich, Nicholas Diakopoulos
― 7 minilectura
Tabla de contenidos
- Aprovechando los Medios de Noticias
- El Desafío de Encontrar Impactos
- La Gran Idea Detrás de Nuestra Investigación
- De Dónde Obtuvimos Nuestra Información
- Cómo Analizamos los Datos
- Desglose de los Impactos Negativos
- Resultados de Nuestro Análisis
- Qué Significa Esto para los Desarrolladores de IA
- Limitaciones de Nuestro Estudio
- Una Nota de Precaución
- Conclusión
- Fuente original
- Enlaces de referencia
Cuando se trata de estudiar cómo la IA afecta nuestras vidas, los investigadores suelen pensar en marcos basados en opiniones de expertos. Pero aquí está el truco: estas opiniones de expertos a menudo no captan los efectos reales de la IA en la gente común. Verás, la forma en que las personas sienten sobre la IA puede cambiar según de dónde sean y sus experiencias de vida. En este artículo, vamos a ver cómo podemos mejorar estas evaluaciones aprovechando lo que se dice en las noticias.
Aprovechando los Medios de Noticias
Decidimos revisar Artículos de Noticias de todo el mundo para ver qué historias cuentan sobre la IA. Al centrarnos en cómo se percibe negativamente a la IA en estos artículos, podemos reunir opiniones y experiencias diversas que los expertos podrían pasar por alto. Esto es importante porque los medios moldean cómo la gente piensa sobre la tecnología. Si las noticias no cubren ciertos impactos, esos problemas pueden desvanecerse en el fondo.
El Desafío de Encontrar Impactos
Identificar cómo la IA puede impactar negativamente a la Sociedad no es tarea fácil. Es complicado y requiere muchos recursos. Los investigadores han probado diferentes marcos para evaluar estos impactos, pero a menudo reflejan sus propios antecedentes y sesgos. Aunque pueden resaltar ciertas preocupaciones, pueden pasar por alto otras importantes, especialmente las que son relevantes para diferentes culturas o comunidades.
Por eso creemos que es una buena idea usar modelos de lenguaje grandes (LLMs) para ayudarnos a analizar los impactos. Estos modelos pueden procesar grandes cantidades de información rápidamente, pero no son perfectos. Pueden reflejar los sesgos presentes en los datos con los que fueron entrenados. Así que, aunque podría ser un movimiento inteligente usar LLMs en este contexto, necesitamos tener cuidado con los insights que recogemos de ellos.
La Gran Idea Detrás de Nuestra Investigación
¿Nuestro objetivo principal? Mejorar las evaluaciones de impacto utilizando una amplia gama de opiniones de artículos de noticias. Al ajustar los LLMs para centrarse en los Impactos Negativos de la IA mencionados en las noticias, podemos ayudar a desarrolladores e investigadores a entender los problemas potenciales antes de que lancen nuevas tecnologías. Esto puede ayudar a asegurar que se escuchen voces diversas en las discusiones sobre el futuro de la IA.
De Dónde Obtuvimos Nuestra Información
Para profundizar en esto, recopilamos 91,930 artículos de noticias publicados entre enero de 2020 y junio de 2023. Estos artículos vinieron de 266 fuentes de noticias diferentes en 30 países. Luego nos enfocamos en identificar discusiones sobre los impactos negativos resultantes de las tecnologías de IA. En total, 17,590 artículos en nuestra colección mencionaron estos impactos negativos, lo que indica que la gente definitivamente está hablando sobre los riesgos de la IA.
Cómo Analizamos los Datos
Desarrollamos una forma sistemática de resumir la información de los artículos. Para cada artículo, extraímos dos piezas principales de información: una descripción del sistema de IA discutido y los impactos negativos asociados. Esta información nos permitió crear un conjunto de datos que ayuda a los investigadores a evaluar los impactos negativos de la IA de manera más efectiva.
Desglose de los Impactos Negativos
De nuestro análisis, encontramos diez categorías diferentes de impactos negativos mencionados en los artículos de noticias:
Impactos Sociales: Estos impactos destacan cómo la IA puede afectar a la sociedad, como la difusión de desinformación o socavar la confianza pública a través de deepfakes.
Impactos Económicos: Esto cubre la pérdida de empleos y la incertidumbre económica causada por la IA, como reemplazar a trabajadores humanos con chatbots automáticos.
Privacidad: Las discusiones sobre privacidad a menudo giran en torno a tecnologías de vigilancia, como el reconocimiento facial, que pueden comprometer los derechos de las personas.
Seguridad de Sistemas Autónomos: Esto aborda los riesgos asociados con tecnologías como los autos autónomos o drones, que podrían provocar accidentes o lesiones.
Daños Físicos y Digitales: Impactos en esta categoría discuten peligros tanto en espacios físicos como digitales, incluyendo comportamientos dañinos de la IA en línea y riesgos en la guerra.
Gobernanza de la IA: Esta categoría destaca la necesidad de regulaciones para gestionar las tecnologías de IA de manera responsable y asegurar la rendición de cuentas.
Exactitud y Fiabilidad: Las preocupaciones sobre la IA a veces giran en torno a cuán confiables son los resultados, con problemas como "alucinaciones" o información incorrecta que surgen.
Contenido Generado por IA: La capacidad de la IA para producir diversas formas de contenido puede dificultar distinguir entre lo falso y lo real, planteando preguntas éticas.
Seguridad: Las amenazas cibernéticas que utilizan tecnologías de IA, como ataques de phishing, caen en esta categoría y podrían poner en peligro información sensible.
Riesgos Varios: Esto incluye cualquier otro impacto negativo que no encajó en las categorías anteriores, como el costo ambiental de entrenar modelos de IA.
Resultados de Nuestro Análisis
Evaluamos los impactos generados tanto de modelos ajustados como de modelos más grandes para ver qué tan bien se comparaban en calidad. Sorprendentemente, encontramos que los modelos más pequeños, específicamente uno ajustado a medios de noticias, podían producir impactos similares a los de un modelo más grande. Sin embargo, el modelo más pequeño logró capturar tipos de impactos más diversos que el modelo más grande pasó por alto.
Qué Significa Esto para los Desarrolladores de IA
Los hallazgos de esta investigación muestran que usar los medios de noticias puede ayudarnos a entender mejor las preocupaciones sociales en torno a la IA. Abre puertas para que los constructores y los investigadores piensen en las implicaciones más amplias de sus tecnologías. Al reconocer una gama más amplia de impactos negativos, podemos ayudar a asegurar que el futuro desarrollo de la IA incluya voces diversas, especialmente aquellas que a menudo se pasan por alto.
Limitaciones de Nuestro Estudio
Por supuesto, nuestro estudio tiene su propio conjunto de limitaciones. Los medios de noticias pueden contener sesgos, lo que podría influir en el tipo de impactos que pudimos evaluar. Por ejemplo, la credibilidad de los medios, las inclinaciones políticas y otros factores pueden distorsionar los datos. Por eso es esencial que la investigación futura reflexione sobre estos sesgos y cómo afectan los impactos generados por la IA.
Una Nota de Precaución
Si bien nuestros modelos ajustados son útiles, existe el riesgo de depender demasiado de ellos. Si la gente comienza a pensar que los resultados de estos modelos son concluyentes, puede llevar a una pereza en el pensamiento crítico. Herramientas como estas deben ayudar en el proceso de evaluación, no reemplazar el análisis humano.
Conclusión
En conclusión, nuestro trabajo apunta a oportunidades emocionantes en el campo de las evaluaciones de impacto de la IA. Al aprovechar los medios de noticias y utilizar modelos avanzados, podemos obtener una imagen más clara de cómo las tecnologías de IA pueden afectar a la sociedad. Esto puede guiar a desarrolladores y políticos a tomar decisiones informadas que realmente reflejen las necesidades y preocupaciones de todas las personas.
Así que, la próxima vez que leas sobre IA en las noticias, recuerda que no se trata solo de tecnología, se trata de vidas reales, preocupaciones reales y las diversas opiniones que dan forma a nuestro mundo. El futuro de la IA necesita que todas las voces se unan a la conversación. Y seamos honestos: ¿quién no apreciaría un poco más de diálogo sobre esta tecnología que se está volviendo una parte más grande de nuestras vidas cada día?
Título: Towards Leveraging News Media to Support Impact Assessment of AI Technologies
Resumen: Expert-driven frameworks for impact assessments (IAs) may inadvertently overlook the effects of AI technologies on the public's social behavior, policy, and the cultural and geographical contexts shaping the perception of AI and the impacts around its use. This research explores the potentials of fine-tuning LLMs on negative impacts of AI reported in a diverse sample of articles from 266 news domains spanning 30 countries around the world to incorporate more diversity into IAs. Our findings highlight (1) the potential of fine-tuned open-source LLMs in supporting IA of AI technologies by generating high-quality negative impacts across four qualitative dimensions: coherence, structure, relevance, and plausibility, and (2) the efficacy of small open-source LLM (Mistral-7B) fine-tuned on impacts from news media in capturing a wider range of categories of impacts that GPT-4 had gaps in covering.
Autores: Mowafak Allaham, Kimon Kieslich, Nicholas Diakopoulos
Última actualización: 2024-11-04 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2411.02536
Fuente PDF: https://arxiv.org/pdf/2411.02536
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://arxiv.org/abs/2306.05949
- https://dl.acm.org/doi/10.1145/3442188.3445935
- https://arxiv.org/abs/2011.13170
- https://dblp.org/rec/journals/corr/abs-2011-13170.bib
- https://dblp.org
- https://arxiv.org/abs/2305.07153
- https://arxiv.org/abs/2108.07258
- https://dblp.org/rec/journals/corr/abs-2108-07258.bib
- https://dl.acm.org/doi/10.1145/3531146.3533088
- https://dl.acm.org/doi/10.1145/3461702.3462608
- https://doi.org/10.1145/3306618.3314285
- https://doi.org/10.1162/tacl
- https://direct.mit.edu/tacl/article-pdf/doi/10.1162/tacl
- https://arxiv.org/abs/2210.05791
- https://dsa-observatory.eu/2024/07/31/what-do-we-talk-about-when-we-talk-about-risk-risk-politics-in-the-eus-digital-services-act/