Evaluando la seguridad en imágenes generadas por IA

Recientemente, los grandes Modelos de IA que combinan texto e imágenes han mostrado habilidades impresionantes para crear contenido interesante. Aún así, hay preocupaciones sobre la Seguridad y la equidad de los datos usados para entrenar estos modelos. Algunos de los datos obtenidos de la web podrían contener material dañino o sesgado, lo que puede provocar problemas éticos cuando estos modelos se usan en situaciones de la vida real. Esto es especialmente importante para los modelos de texto a imagen, que pueden generar imágenes inseguras o sesgadas.

Para abordar estos problemas, los investigadores han propuesto diversos métodos y directrices para Evaluar y reducir los riesgos de seguridad asociados con los modelos de IA. Con nuevas regulaciones sobre IA surgiendo en varios países, hay una necesidad creciente de herramientas que puedan evaluar datos visuales de manera efectiva. Sin embargo, la mayoría de los marcos de seguridad existentes se enfocan en el texto en lugar de en las imágenes, dejando un vacío en los recursos para evaluar contenido visual.

#Nuestro Enfoque

Presentamos un nuevo sistema para evaluar imágenes potencialmente inseguras. Este sistema combina información visual y textual, lo que le permite evaluar imágenes según diferentes políticas de seguridad. Lo diseñamos con un enfoque fuerte en entender los problemas de seguridad en las imágenes. El modelo ayuda a descubrir por qué una imagen se considera insegura y qué reglas específicas podrían estar siendo violadas, como el discurso de odio o la crueldad hacia los animales.

Un aspecto importante de nuestro trabajo es el desarrollo de un sistema de Clasificación de seguridad flexible. Este sistema se ajusta según el contexto, permitiendo que el modelo se aplique en varios escenarios. Nuestra contribución incluye:

1. Un conjunto de modelos que evalúan imágenes por su seguridad.
2. Un sistema de clasificación amplio para riesgos de seguridad en imágenes.
3. Un conjunto de datos cuidadosamente anotado para entrenar el modelo en evaluaciones de seguridad.
4. Pruebas del modelo en tareas del mundo real como la curaduría de Conjuntos de datos y la moderación de contenido generado por IA.

#Antecedentes

Numerosos estudios han resaltado los riesgos asociados con grandes modelos de IA. Por ejemplo, muchos modelos de texto a imagen son conocidos por producir contenido sesgado e inseguro. Por lo tanto, es vital garantizar que estos modelos sean seguros para su implementación en diversas aplicaciones.

En el pasado, han surgido esfuerzos para documentar el contenido visual y sus riesgos potenciales. Algunos enfoques iniciales involucraron herramientas de clasificación, usando modelos o la entrada humana para designar contenido que podría ser dañino. Sin embargo, la efectividad de estas auditorías suele estar limitada por categorías de seguridad fijas, que pueden no captar todo el espectro de riesgos presentes en los datos visuales.

Nuestro sistema busca mejorar la curaduría de conjuntos de datos y la moderación de contenido para la IA generativa usando estos nuevos modelos. Esto mejora las evaluaciones de seguridad en el dominio visual.

#Taxonomía de Seguridad

La mayoría de los enfoques existentes se enfocan en un solo aspecto de la seguridad, como el contenido para adultos. Sin embargo, una evaluación más completa que considere múltiples aspectos es esencial para tener una imagen más clara de los riesgos de seguridad. Se han desarrollado taxonomías de seguridad para organizar y evaluar estos riesgos de manera sistemática. Algunas taxonomías anteriores incluyeron varias categorías para cubrir preocupaciones de seguridad y fomentar la responsabilidad. Nuestra taxonomía de seguridad introduce nueve categorías para identificar riesgos en imágenes, y va más allá de investigaciones previas para satisfacer la necesidad de clasificaciones adaptables.

#Uso de Modelos Multimodales

El auge de grandes modelos multimodales nos permite aprovechar su comprensión del mundo para una mejor moderación de contenido. Estos modelos pueden procesar tanto texto como imágenes, proporcionando un análisis más completo de la seguridad. Aplicamos sus habilidades para evaluar efectivamente la seguridad del contenido visual. Nuestro nuevo sistema se basa en estos modelos multimodales.

Alineamos nuestras categorías de seguridad con taxonomías basadas en texto existentes para permitir evaluaciones en tiempo real que se adaptan a diversos requisitos de seguridad. Este enfoque no pretende cubrir todos los riesgos potenciales, sino que sirve como una guía general que puede ser ajustada para diferentes necesidades.

#Categorías de Seguridad

Nuestra taxonomía de seguridad incluye nueve categorías principales, junto con una categoría para situaciones donde no aplica ninguna regla relevante. Cada categoría está definida con pautas precisas para asegurar que el sistema pueda ajustarse según el contexto específico. Por ejemplo, ciertas categorías podrían prohibir toda desnudez, mientras que en contextos médicos, alguna desnudez podría ser aceptable.

Cada categoría tiene instrucciones detalladas sobre qué debería o no debería incluirse. Esta flexibilidad nos permite ajustar nuestras estrategias de evaluación en función de las necesidades específicas de cada escenario.

#Metodología

Nuestro modelo se desarrolla afinando grandes modelos preentrenados en un conjunto de datos curado. Este conjunto de datos fue ensamblado de múltiples fuentes, asegurando una representación equilibrada de los riesgos de seguridad. También anotamos manualmente el conjunto de datos para crear etiquetas precisas, proporcionando una base sólida para entrenar el modelo.

Para garantizar que el modelo pueda evaluar imágenes rápidamente, generamos salidas estructuradas que contienen calificaciones de seguridad, categorías y explicaciones para cada evaluación. El modelo genera estas salidas en un formato sencillo que puede ser analizado fácilmente.

#Recolección de Datos

Para nuestra recolección de datos, comenzamos con un conjunto de datos base que ya estaba anotado. Sin embargo, notamos un desequilibrio entre las categorías de seguridad, con algunas áreas subrepresentadas. Para corregir esto, recolectamos imágenes adicionales de internet, asegurando que cada categoría de seguridad recibiera una cobertura adecuada.

Una vez que se recopilaron las imágenes, las anotamos de acuerdo a nuestras nueve categorías de seguridad, etiquetando cada imagen como segura o insegura, junto con una evaluación más detallada cuando era necesario. Esta cuidadosa etiquetación ayuda al modelo a discernir diferentes niveles de seguridad y asegura que entienda las distinciones entre varios riesgos.

#Proceso de Entrenamiento

Entrenamos nuestros modelos durante varias épocas usando este conjunto de datos equilibrado. Ajustando parámetros como tasas de aprendizaje y tamaños de lote basados en el tamaño del modelo, logramos un entrenamiento eficiente.

Nuestro conjunto de datos final consistió en una mezcla de imágenes seguras e inseguras, asegurando una muestra representativa para que el modelo aprenda. Realizamos pruebas con muestras separadas para medir el rendimiento sin superponer ningún dato de entrenamiento.

#Evaluación de los Modelos

Para validar nuestros modelos, los posicionamos contra varios modelos de referencia. Encontramos que nuestro sistema superó constantemente los modelos base, logrando una alta precisión al distinguir contenido seguro de inseguro. Esto es especialmente impresionante ya que nuestros modelos más pequeños aún superaron a alternativas mucho más grandes.

Además, probamos cuán bien nuestros modelos se ajustaban a cambios en las políticas de seguridad. Estas pruebas demostraron la capacidad del modelo para adaptarse de manera flexible a diferentes contextos, proporcionando evaluaciones confiables en diversos escenarios.

#Aplicaciones en el Mundo Real

Nuestros modelos pueden ser aplicados en entornos del mundo real, particularmente para auditorías de conjuntos de datos y moderación de contenido generado. Por ejemplo, auditamos un gran conjunto de datos de imágenes, identificando un número significativo de elementos potencialmente inseguros basados en nuestras directrices de seguridad.

Este proceso de auditoría ayuda a asegurar que los datos de entrenamiento se mantengan seguros para su uso futuro en modelos de IA. También permite a los investigadores identificar y mitigar riesgos, asegurando que los sistemas de IA se construyan sobre bases confiables.

En la moderación de contenido, nuestros modelos han sido probados contra salidas de IA generativa. Encontramos que identificaron efectivamente imágenes inseguras, ayudando a aplicar las salvaguardas necesarias durante la implementación. Los resultados mostraron que nuestros modelos podían discernir contenido inseguro efectivamente, lo cual es crucial para mantener estándares éticos en el material generado por IA.

#Pruebas de Rendimiento

En nuestras pruebas, observamos que nuestro sistema podía evaluar y ajustar calificaciones de seguridad para un gran volumen de imágenes de manera precisa. Incluso en contextos desafiantes, manejó variaciones en el contenido de manera efectiva, mostrando su robustez y adaptabilidad.

También realizamos revisiones manuales de las clasificaciones de imágenes, confirmando que las evaluaciones de nuestro modelo se alineaban en gran medida con las evaluaciones humanas. Esto refuerza el valor de nuestros modelos en proporcionar evaluaciones de seguridad confiables.

#Conclusión

Hemos desarrollado un conjunto de modelos capaces de evaluar la seguridad de las imágenes basándose en una sólida comprensión de los riesgos potenciales. Nuestro enfoque cierra las brechas existentes en los marcos de seguridad para contenido visual, ofreciendo un sistema exhaustivo para evaluar riesgos de seguridad en diversos contextos.

Al crear una taxonomía de seguridad flexible y entrenar nuestros modelos en un conjunto de datos bien anotado, facilitamos mejores evaluaciones de seguridad en aplicaciones del mundo real. Nuestros modelos demuestran que pueden manejar efectivamente las complejidades de las evaluaciones de seguridad, asegurando que las imágenes generadas por IA sean seguras y estén alineadas con las expectativas éticas.

El trabajo futuro podría mejorar aún más nuestros modelos expandiendo el conjunto de datos y refinando las categorías de seguridad para promover la equidad en la IA. A medida que seguimos explorando las capacidades de estos modelos, buscamos fortalecer su aplicabilidad en casos de uso más amplios, asegurando prácticas de IA responsables en la creación y evaluación de contenido visual.