Entendiendo la IA Confiable: Perspectivas de los Practicantes
Los profesionales de IA comparten sus opiniones sobre la IA confiable y sus desafíos.
― 7 minilectura
Tabla de contenidos
- La Importancia de la IA Confiable
- ¿Qué es la IA Confiable?
- Recursos Disponibles para Implementar IA Confiable
- Objetivo de la Investigación
- Métodos Utilizados para la Investigación
- Estructura de la Encuesta
- Proceso de Entrevista
- Hallazgos y Perspectivas
- Conocimiento de los Principios de IA Confiable
- Estrategias para Prevenir la Desconfianza
- Descubriendo la Desconfianza
- Abordando la Desconfianza
- Desafíos Enfrentados por los Practicantes
- Necesidad de Mejores Herramientas y Pautas
- Conclusión
- Direcciones Futuras
- Fuente original
- Enlaces de referencia
En los últimos años, ha habido mucho enfoque en el uso responsable de la Inteligencia Artificial (IA). Mucha gente quiere asegurarse de que los sistemas de IA funcionen de manera ética y segura. Por eso, se han creado varias pautas y marcos para ayudar a quienes diseñan y usan herramientas de IA. Sin embargo, todavía sabemos poco sobre cómo se usan estas pautas en la vida real.
Este artículo investiga qué piensan los desarrolladores de IA sobre estas pautas, los desafíos que enfrentan y qué herramientas o conocimientos desearían tener al intentar hacer que sus sistemas de IA sean confiables.
La Importancia de la IA Confiable
Los sistemas de IA tienen un gran impacto en muchas partes de nuestras vidas, desde la salud y la educación hasta las oportunidades laborales y la aplicación de la ley. Con este uso generalizado, hay preocupaciones de que la IA puede aumentar la injusticia en la sociedad. Por ejemplo, se ha informado que algunos sistemas de IA tratan a las personas de manera injusta por su raza o género. Estos problemas destacan la necesidad de una IA Confiable (TAI), que significa asegurarse de que los sistemas de IA sean legales, éticos y resistentes a daños no intencionados.
¿Qué es la IA Confiable?
La IA confiable implica tener tres componentes principales:
- Legalidad: Los sistemas de IA deben seguir las leyes y regulaciones que les aplican.
- Ética: Deben adherirse a principios y valores morales.
- Robustez: Estos sistemas deben ser fiables desde una perspectiva técnica y social para evitar causar daño.
Cada uno de estos componentes es importante por sí solo, pero juntos ayudan a crear IA confiable.
Recursos Disponibles para Implementar IA Confiable
Muchas organizaciones, tanto públicas como privadas, han estado trabajando para crear recursos útiles que apoyen el desarrollo de la IA Confiable. Estos recursos incluyen:
- Pautas Éticas
- Mejores prácticas
- Herramientas
- Marcos
A pesar de la creación y distribución de estos recursos, muy pocos estudios han examinado cómo los profesionales de IA los utilizan realmente durante el proceso de desarrollo.
Objetivo de la Investigación
Para llenar este vacío, esta investigación tiene como objetivo averiguar cómo los profesionales de IA enfrentan los desafíos de la IA Confiable todos los días. Se basa en encuestas y entrevistas con practicantes de IA para descubrir sus opiniones, necesidades y obstáculos en el desarrollo de sistemas de IA confiables.
Métodos Utilizados para la Investigación
En nuestra investigación, recopilamos datos a través de una encuesta y entrevistas semi-estructuradas. Contactamos a practicantes de IA de varias organizaciones para que participaran en el estudio. En total, recopilamos respuestas de 34 participantes que trabajan en sistemas de IA y tienen algún grado de conocimiento relacionado con los principios de IA Confiable.
Estructura de la Encuesta
La encuesta constó de varias partes:
- Consentimiento Informado: Los participantes aceptaron participar en el estudio y fueron informados sobre su propósito.
- Conocimiento de los Principios de IA Confiable: Recopilamos información sobre lo que los participantes entendían acerca de los principios de TAI.
- Prácticas para Prevenir la Desconfianza: Preguntamos sobre las estrategias que utilizan para prevenir problemas en los sistemas de IA.
- Prácticas para Descubrir la Desconfianza: Los participantes compartieron cómo identifican problemas potenciales en sus sistemas de IA.
- Prácticas para Abordar la Desconfianza: Investigamos los métodos que aplican para resolver problemas identificados.
- Información Demográfica: Esta sección recopiló detalles sobre el trasfondo de los participantes.
Proceso de Entrevista
Junto con la encuesta, realizamos entrevistas semi-estructuradas que duraron entre 45 y 90 minutos. Durante estas entrevistas, animamos a los participantes a compartir sus pensamientos abiertamente y a elaborar sus respuestas.
Hallazgos y Perspectivas
Conocimiento de los Principios de IA Confiable
De la encuesta, descubrimos que la mayoría de los participantes entendía bien el principio de Privacidad, indicando que se considera comúnmente en regulaciones como el GDPR. La Transparencia también fue un área clave de enfoque. Sin embargo, muchos participantes expresaron una falta de comprensión del principio de Equidad. Esta falta de entendimiento probablemente proviene de la ausencia de regulaciones claras sobre este principio, dejándolo a interpretación individual, lo que puede llevar a problemas.
Estrategias para Prevenir la Desconfianza
Cuando se les preguntó sobre estrategias para prevenir la desconfianza en la IA, el enfoque más común fue utilizar algoritmos que expliquen claramente las decisiones tomadas por el sistema de IA. Los participantes notaron varias prácticas, como realizar una investigación exhaustiva antes de diseñar sistemas y usar reglas para verificar si los resultados se alinean con los resultados esperados.
La encuesta también reveló que los profesionales de IA calificaron las herramientas para generar explicaciones de modelos como las más valiosas. Por otro lado, encontraron que las herramientas para determinar los datos necesarios para grupos específicos eran menos útiles, probablemente debido a las restricciones existentes en la recopilación de datos.
Descubriendo la Desconfianza
En cuanto a la identificación de problemas de desconfianza, muchos profesionales informaron que se basan en métricas y comentarios de usuarios. A menudo examinaban las características de entrada para encontrar problemas potenciales. Curiosamente, generar muestras maliciosas para probar el sistema fue una de las estrategias menos utilizadas.
Los participantes mostraron que empleaban métodos tanto cualitativos como cuantitativos para descubrir problemas, destacando un enfoque equilibrado para evaluar los sistemas de IA.
Abordando la Desconfianza
Cuando se trata de resolver problemas, nuestros hallazgos indicaron que muchos practicantes identificaron problemas pero no los abordaron directamente. En aproximadamente la mitad de los casos, los problemas no se abordaron debido a limitaciones de tiempo o temor a que las soluciones pudieran perjudicar el rendimiento del sistema.
Las estrategias más comunes utilizadas para solucionar problemas identificados incluían mejorar la calidad de los conjuntos de datos y enriquecerlos con puntos de datos artificiales. Reconocer problemas es esencial, pero si no se aplican soluciones, puede llevar a problemas significativos a largo plazo.
Desafíos Enfrentados por los Practicantes
Muchos practicantes informaron que las limitaciones empresariales a menudo obstaculizan su capacidad para abordar los problemas de IA Confiable. Los principales desafíos incluían tiempo limitado, restricciones presupuestarias y preocupaciones de que solucionar problemas podría afectar negativamente el rendimiento del sistema.
A pesar de estas limitaciones, los practicantes reconocieron la importancia de implementar estrategias para mantener la IA Confiable.
Necesidad de Mejores Herramientas y Pautas
A lo largo del estudio, surgió una necesidad clara de mejores herramientas y pautas para apoyar a los practicantes de IA en la implementación de los principios de IA Confiable. Los profesionales expresaron su deseo de:
- Una base de conocimientos con consejos prácticos.
- Herramientas para monitorear sistemas de IA después de su implementación.
- Mejores prácticas que guíen a los equipos a lo largo de todo el proceso de desarrollo.
Los practicantes destacaron que muchas herramientas existentes no son bien conocidas o son demasiado generales sin consejos concretos sobre cómo aplicarlas en varias etapas del desarrollo.
Conclusión
En resumen, este estudio ilumina cómo los practicantes de IA ven e interactúan con los principios de IA Confiable. En general, los practicantes se enfocan mayormente en la Privacidad mientras a menudo pasan por alto la Equidad. El deseo de herramientas y pautas para apoyar la toma de decisiones a lo largo del ciclo de vida del desarrollo de software es evidente.
A medida que la IA continúa creciendo y afectando varias industrias, asegurar que estos sistemas sean éticos, legales y robustos es vital. La investigación continua y el desarrollo de recursos prácticos pueden apoyar mejor a los profesionales de IA en la toma de decisiones responsables.
Direcciones Futuras
Para construir sobre los hallazgos, la investigación futura debería involucrar una muestra más grande de practicantes de IA para profundizar en problemas específicos resaltados en este estudio. Involucrar a participantes más diversos también puede mejorar la comprensión de cómo se percibe e implementa la IA Confiable en diferentes entornos. Además, crear pautas y recursos fáciles de usar podría mejorar la capacidad de los practicantes de IA para aplicar efectivamente los principios de IA Confiable.
Título: Trustworthy AI in practice: an analysis of practitioners' needs and challenges
Resumen: Recently, there has been growing attention on behalf of both academic and practice communities towards the ability of Artificial Intelligence (AI) systems to operate responsibly and ethically. As a result, a plethora of frameworks and guidelines have appeared to support practitioners in implementing Trustworthy AI applications (TAI). However, little research has been done to investigate whether such frameworks are being used and how. In this work, we study the vision AI practitioners have on TAI principles, how they address them, and what they would like to have - in terms of tools, knowledge, or guidelines - when they attempt to incorporate such principles into the systems they develop. Through a survey and semi-structured interviews, we systematically investigated practitioners' challenges and needs in developing TAI systems. Based on these practical findings, we highlight recommendations to help AI practitioners develop Trustworthy AI applications.
Autores: Maria Teresa Baldassarre, Domenico Gigante, Marcos Kalinowski, Azzurra Ragone, Sara Tibidò
Última actualización: 2024-05-15 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2407.12135
Fuente PDF: https://arxiv.org/pdf/2407.12135
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.microsoft.com/it-it/microsoft-teams
- https://atlasti.com/
- https://www.nature.com/articles/d41586-019-03228-6
- https://www.ic3.gov/Media/News/2021/210310-2.pdf
- https://www.cms-holbornasia.law/en/sgh/publication/singapore-to-form-advisory-council-for-ethical-use-of-ai
- https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai
- https://oecd.ai/en/list-of-participants-oecd-expert-group-on-ai
- https://publications.parliament.uk/pa/ld201719/ldselect/ldai/100/10001.htm
- https://www.unesco.org/en/artificial-intelligence/recommendation-ethics
- https://ai.jpl.nasa.gov/
- https://www.gov.uk/government/groups/ai-council
- https://ai.google/principles/
- https://news.sap.com/2018/09/sap-guiding-principles-for-artificial-intelligence/
- https://www.acm.org/binaries/content/assets/public-policy/final-joint-ai-statement-update.pdf
- https://www.accessnow.org/eu-artificial-intelligence-act-fundamental-rights/
- https://www.amnesty.org/en/latest/news/2017/06/artificial-intelligence-for-good/
- https://www.sony.com/en/SonyInfo/sony_ai/responsible_ai.html
- https://ai.facebook.com/blog/facebooks-five-pillars-of-responsible-ai/
- https://www.thefutureworldofwork.org/media/35420/uni_ethical_ai.pdf
- https://www.internetsociety.org/resources/doc/2017/artificial-intelligence-and-machine-learning-policy-paper/
- https://www.bloomberg.com/graphics/2023-generative-ai-bias/
- https://www.acm.org/publications/taps/whitelist-of-latex-packages