Redes Neuronales Profundas y Desafíos en el Reconocimiento de Formas

Los avances recientes en el aprendizaje profundo han abierto nuevas puertas para estudiar cómo funciona el cerebro. Las redes neuronales profundas (DNNs) se han vuelto increíblemente hábiles en tareas como reconocer imágenes y generar lenguaje. En algunos casos, estas redes pueden hacer estas tareas incluso mejor que los humanos. Para los investigadores en neurociencia, tener modelos que puedan imitar comportamientos complejos es una herramienta importante para entender los procesos cerebrales.

Las redes neuronales profundas se inspiraron inicialmente en las redes biológicas del cerebro. Al igual que el cerebro, estas redes están formadas por unidades simples que se conectan de maneras complicadas. Esta estructura permite a las DNNs representar ideas en varios niveles, desde funciones específicas de unidades individuales hasta conceptos más amplios sobre cómo el aprendizaje da forma a la actividad cerebral. Este enfoque ha sido particularmente exitoso para entender cómo procesamos la información visual. Las DNNs pueden predecir con precisión cómo nuestro cerebro interpreta imágenes e incluso crear imágenes falsas para probar cómo responden neuronas específicas.

Sin embargo, usar estas redes como modelos para el cerebro tiene sus problemas. Los críticos señalan que solo porque una DNN se desempeñe bien en una tarea no significa que use las mismas estrategias que los humanos. Aunque las redes pueden etiquetar imágenes de manera similar a como lo haría una persona, los métodos que emplean para llegar a esas conclusiones pueden diferir significativamente. Aunque las DNNs comparten algunas características con la corteza visual humana, carecen de rasgos cruciales que contribuyen a cómo vemos e interpretamos imágenes. La evidencia muestra que las DNNs procesan imágenes de manera diferente a los humanos; por ejemplo, pueden ser engañadas por imágenes manipuladas, son menos resistentes a cambios en las imágenes, y no exhiben los principios organizativos que son fundamentales para la percepción humana.

Una gran diferencia es que los humanos dependen en gran medida de la forma de un objeto para identificarlo, mientras que las redes neuronales tienden a centrarse en la textura y otros aspectos superficiales. Esta diferencia resalta cómo las DNNs tienen dificultades para reconocer la forma general de los objetos como lo hacen los humanos.

Los investigadores han propuesto una nueva estrategia llamada "neuroconexión", que ve estas diferencias no como fallas, sino como oportunidades para seguir investigando. Al examinar por qué las DNNs procesan las Formas de manera diferente a los humanos, los científicos esperan descubrir los componentes y mecanismos necesarios para una comprensión de formas similar a la humana.

#Investigando el Procesamiento de Formas en Redes Neuronales

Han surgido evidencias que apuntan a las limitaciones de las DNNs en el procesamiento de formas de varios estudios. Aunque estas redes pueden utilizar algo de información sobre formas -por ejemplo, identificar contornos básicos- tienen dificultades con las formas globales cuando las imágenes están distorsionadas. Cuando la forma es tan informativa como otra característica, como el color, las redes a menudo priorizan la otra característica. Esto lleva a una tendencia en las redes entrenadas con imágenes reales a favorecer la textura, lo cual ha sido documentado en varios estudios.

Esta preferencia por la textura sobre la forma es notable y ha llamado la atención de expertos en aprendizaje automático. Para contrarrestar este sesgo, se han propuesto varias estrategias, como entrenar con imágenes estilizadas o mejorar los datos de ciertas maneras. Sin embargo, simplemente aumentar la sensibilidad a la forma puede no llevar a un verdadero procesamiento de formas, ya que es solo una métrica entre muchas.

A pesar de la extensa investigación sobre por qué las DNNs muestran un sesgo hacia la forma, aún no hay una explicación clara. Han surgido dos hipótesis principales:

1. Aprendizaje Corto: Esta idea sugiere que las DNNs simplifican la tarea centrándose en las características más fáciles de aprender. Si otras características no ofrecen poder predictivo adicional, pueden ser ignoradas.

2. Deficiencias Arquitectónicas: Esta hipótesis plantea que las DNNs actuales carecen de ciertos componentes que permiten un procesamiento efectivo de formas. Pueden ser necesarias ciertas estructuras que se encuentran en sistemas biológicos, como las conexiones de retroalimentación.

Cada una de estas hipótesis plantea más preguntas. Con el aprendizaje corto, la pregunta fundamental cambia de por qué las redes favorecen la textura en lugar de la forma a por qué reconocer Texturas es más simple para las DNNs. Mientras tanto, si hay deficiencias arquitectónicas, ¿qué es exactamente lo que falta en estas redes que impide el procesamiento de formas?

Estas preguntas presentan desafíos ya que la forma y la textura no están definidas con precisión, especialmente en imágenes naturales. Mientras que intuitivamente reconocemos formas, carecemos de definiciones formales que nos permitan probar si una red puede realmente procesar una forma específica.

Un enfoque para abordar este problema es usar imágenes artificiales donde las formas y texturas se generen de manera controlada. Por ejemplo, los investigadores han creado imágenes donde parches coloridos forman formas simples y examinaron qué tan bien pueden distinguir categorías humanos y DNNs basándose en diferentes características como forma, color o textura. En general, este tipo de estudio se centra en entender por qué las redes neuronales tienen dificultades para reconocer formas.

En una serie de experimentos, se diseñaron conjuntos de datos de imágenes artificiales donde características simples de forma, color o textura indicaban la categoría de un objeto. El objetivo era determinar los patrones de sesgo en varias redes neuronales. Al entrenar redes en diferentes combinaciones de características, los investigadores encontraron que la mayoría de las redes mostraban los mismos sesgos hacia el color y la textura que se habían observado anteriormente en imágenes naturales.

#Experimentación con Redes Neuronales

#Experimento 1: Confirmando Bias en Redes Neuronales

En el primer experimento, se crearon cuatro conjuntos de datos de imágenes artificiales donde cada imagen presentaba un solo objeto sobre un fondo gris. El objetivo era evaluar si las redes entrenadas en estos conjuntos mostraban la misma preferencia por color o textura sobre la forma. Por ejemplo, un conjunto presentaba rectángulos coloridos, donde la membresía de clase dependía de la forma (horizontal o vertical) y el color (rojo, azul, verde o magenta).

Los investigadores entrenaron varias Arquitecturas de redes neuronales en cada conjunto de datos y evaluaron su rendimiento en diferentes conjuntos de prueba. Examinaron si las redes clasificaban correctamente cuando solo una característica era visible, y si mostraban sesgo hacia una característica cuando ambas estaban disponibles.

Los hallazgos indicaron que casi todas las redes estándar mostraron una clara preferencia por el color o la textura. Mientras que las redes lograron una alta precisión en el entrenamiento con ambos conjuntos de color y textura, tuvieron un rendimiento pobre cuando se probaron solo con datos de forma. La mayoría de las redes mostraron niveles de rendimiento cercanos a la azar, lo que indica que aprendieron a depender del color o la textura en lugar de la forma.

La excepción fue una arquitectura de red específica, spcConvNet, que se desempeñó mejor al enfrentar datos de forma en comparación con color o textura. Esto sugirió que incluso en un conjunto de datos controlado, las redes mostraron sesgos similares a los observados en imágenes naturales.

#Experimento 2: Clasificación de Formas

El segundo experimento se centró en si estas redes podían clasificar imágenes solo por forma cuando no había otras características presentes. Los investigadores entrenaron las mismas redes en versiones solo de forma de los conjuntos de datos. Esto permitió una prueba directa entre las dos hipótesis: si las redes podrían conectar sus capacidades de clasificación de formas o si su arquitectura carecía fundamentalmente de la capacidad para procesar formas de manera efectiva.

Los resultados revelaron que la capacidad de las redes para aprender clasificación basada en formas estaba estrechamente relacionada con su arquitectura. Las redes convolucionales se desempeñaron bien en diferenciar formas, logrando cerca del 100% de precisión en conjuntos de datos solo de forma. Sin embargo, redes más simples como perceptrones multicapa y transformadores de visión lucharon significativamente con el reconocimiento de formas, indicando posibles deficiencias arquitectónicas en esos diseños.

#Investigando la Dinámica del Aprendizaje

Para entender cómo se desarrollan estos sesgos durante el proceso de aprendizaje, los investigadores examinaron la dinámica de aprendizaje de una red convolucional a través del núcleo tangente neural (NTK). El NTK describe cómo las redes aprenden y ajustan sus parámetros según los datos de entrada.

Durante el entrenamiento, la trayectoria de aprendizaje mostró que las DNNs estaban más alineadas con redes que se especializaban en color o textura en lugar de aquellas diseñadas para procesar formas. Este hallazgo indicó un sesgo en cómo se aplicaron las actualizaciones de peso durante el aprendizaje, sugiriendo que el proceso de descenso de gradiente empujó a las redes a concentrarse en características locales mientras descuidaba características de forma más amplias.

Esto llevó a un análisis de agrupamiento, donde los investigadores buscaron entender cómo el NTK se relacionaba con las clases de imágenes. Sus observaciones revelaron que las redes basadas en color y textura exhibieron agrupaciones de imágenes que se alineaban bien con las clases, mientras que las redes basadas en formas no experimentaron el mismo grado de alineación.

#Experimento 4: Competencia Espacial

El experimento final involucró la arquitectura spcConvNet, que había mostrado anteriormente cierta sensibilidad a la forma. Los investigadores repitieron el análisis del NTK para ver qué hacía diferente a esta red. Descubrieron que el mecanismo de competencia espacial dentro de spcConvNet resultó en gradientes más escasos en comparación con las otras redes convolucionales. Esta escasez redujo la probabilidad de formar agrupaciones de gradientes de imágenes similares, lo que fue un factor significativo en la determinación de la dinámica de aprendizaje de la red.

Esto significa que la estructura única de spcConvNet le permitió participar en la clasificación basada en formas de manera diferente a sus contrapartes, apoyando aún más la idea de que la dinámica de aprendizaje es crítica en cómo las DNNs procesan características específicas.

#Conclusión

Los hallazgos de estos experimentos arrojan luz sobre por qué las redes neuronales profundas tienden a favorecer características superficiales como el color y la textura sobre las características de forma. Aunque algunas arquitecturas, como los transformadores de visión, parecen ser estructuralmente incapaces de aprender de manera efectiva la forma, las redes convolucionales pueden aprender clasificación basada en formas, pero a menudo no lo hacen debido a sesgos en las Dinámicas de Aprendizaje.

Los conocimientos adquiridos aquí sugieren que aunque los elementos arquitectónicos juegan un papel, los algoritmos y métodos de aprendizaje son cruciales para entender cómo funcionan estas redes. Los próximos pasos en la investigación podrían involucrar explorar mejoras en los algoritmos de aprendizaje o introducir componentes inspirados biológicamente en los modelos, lo que podría ayudar a cerrar la brecha entre el aprendizaje automático y el procesamiento visual humano.

Al enfocarse en estas áreas clave, los investigadores esperan comprender mejor y mejorar los modelos de aprendizaje profundo, haciéndolos más alineados con cómo nuestros cerebros interpretan y procesan la información.