Nuevo sistema basado en guantes para el reconocimiento del lenguaje de señas persa

El Reconocimiento de Lengua de Señas (SLR) es un área en crecimiento que busca ayudar a las personas sordas o con dificultades auditivas a comunicarse con aquellos que no usan lengua de señas. En particular, la Lengua de Señas Persa (PSL) ha sido menos explorada en comparación con otros idiomas, con la mayoría de los esfuerzos centrados en identificar palabras individuales en lugar de oraciones. Como resultado, hay una necesidad de sistemas más completos que puedan reconocer oraciones completas en PSL.

Este artículo presenta un nuevo sistema llamado PenSLR, que utiliza un guante especial equipado con sensores para rastrear los movimientos y gestos de las manos. Aplica un método de aprendizaje profundo que aprende de los datos, lo que lo hace capaz de reconocer oraciones en lengua de señas sin necesidad de descomponerlas en partes más pequeñas primero. Para mejorar la precisión del sistema, también introducimos un nuevo método que combina resultados de múltiples modelos, mejorando el rendimiento general.

#Antecedentes

La necesidad de herramientas de comunicación efectivas para personas sordas y con dificultades auditivas es crucial para reducir las barreras sociales. Solo en Irán, se estima que alrededor de 3 millones de personas enfrentan desafíos de comunicación debido a la pérdida auditiva. A menudo, la comunicación depende de notas escritas o intérpretes, lo cual puede ser poco práctico en muchas situaciones.

La Lengua de Señas Persa utiliza una combinación de formas de manos, movimientos y expresiones faciales. Los sistemas de reconocimiento efectivos deben tener en cuenta tanto los gestos de las manos como las señales faciales, ya que algunas señas pueden parecer similares pero transmitir diferentes significados según las expresiones faciales que las acompañen.

#Desafíos en el Reconocimiento de Lengua de Señas

Desarrollar un sistema de SLR presenta varios desafíos. Primero, la forma en que las personas se señalan puede variar bastante, lo que complica el reconocimiento preciso. Factores como la velocidad de la señalización o el estilo único de diferentes individuos pueden afectar cómo se interpretan los gestos.

En segundo lugar, puede ser difícil distinguir entre señas similares que tienen ligeras diferencias en los movimientos o formas de las manos. La capacidad de un modelo entrenado para reconocer correctamente nuevas señas hechas por diferentes personas es esencial para su efectividad.

Por último, reconocer las transiciones entre diferentes señas en una oración es clave para entender frases más largas. A medida que aumenta la longitud de las oraciones, el desafío del reconocimiento preciso se vuelve aún más significativo.

#El Sistema PenSLR

Este nuevo sistema de SLR basado en guantes está diseñado para reconocer oraciones en lengua de señas persa. Utiliza un guante de bajo costo equipado con una Unidad de Medición Inercial (IMU) y sensores flexibles en cada dedo para capturar movimientos de las manos detalladamente. Los sensores envían datos a una computadora, donde se procesan para identificar y predecir gestos de lengua de señas.

#Recolección de Datos

Para entrenar el sistema, creamos un conjunto de datos que incluye más de 3000 muestras de varias señas de PSL. Grabamos gestos de voluntarios para asegurar que estén representados diversos estilos de señalización. Este conjunto de datos incluye frases cortas así como oraciones más largas, permitiendo que el sistema aprenda en diferentes contextos.

#El Marco de Aprendizaje

Utilizamos un método de aprendizaje profundo para procesar los datos recolectados del guante. Este método incluye diseñar un modelo que pueda manejar secuencias de longitud variable, lo que significa que puede reconocer frases de diferentes longitudes sin tener que segmentarlas en partes más pequeñas.

El modelo consiste en varias capas que extraen características importantes de los datos de entrada, ayudando a determinar los gestos correctos de lengua de señas. En específico, utiliza un tipo de red conocida como Red Neuronal Recurrente Convolucional (CRNN), que combina capas convolucionales para la extracción de características con capas recurrentes para entender secuencias a lo largo del tiempo.

#Función de Pérdida

Para asegurarnos de que el modelo aprenda de manera efectiva, utilizamos una función de pérdida especial llamada Clasificación Temporal Conectivista (CTC). Esta función permite que el modelo se ajuste incluso cuando las secuencias de entrada y salida no están alineadas perfectamente. Esto es especialmente útil en SLR, donde el tiempo de los gestos puede variar.

#Método de Agrupamiento

Una de las innovaciones clave de PenSLR es su técnica de agrupamiento. En lugar de depender de un solo modelo, entrenamos múltiples modelos y luego combinamos sus salidas para mejorar la precisión. Este enfoque ayuda a mitigar errores que pueden ocurrir en cualquier modelo.

El método de agrupamiento utiliza una técnica llamada Alineación Estelar, que alinea las predicciones hechas por diferentes modelos. Al alinear estas predicciones y tomar una votación mayoritaria en cada paso de tiempo, podemos crear una predicción final más precisa.

#Experimento y Resultados

Para evaluar el rendimiento de PenSLR, empleamos varios métodos de prueba. Comparamos qué tan bien el sistema predice tanto oraciones cortas como largas. Los resultados muestran que PenSLR logra una precisión impresionante en el reconocimiento de palabras y oraciones, confirmando su efectividad como herramienta de comunicación.

En pruebas controladas, PenSLR logró una precisión general de palabras del 94.58%. Este rendimiento notable demuestra la capacidad del sistema para generalizar entre diferentes usuarios y contextos. Además, nuestro método de agrupamiento proporcionó una precisión aún mejor, mejorando las tasas de reconocimiento de palabras en comparación con los modelos individuales.

#Beneficios del Sistema

PenSLR ofrece varias ventajas para los usuarios. El guante es accesible y fácil de usar, permitiendo una comunicación accesible sin necesidad de equipos especializados o intérpretes entrenados.

Además, la capacidad de reconocer oraciones puede mejorar enormemente el flujo de comunicación entre usuarios de lengua de señas y no usuarios, reduciendo la dependencia de intérpretes y notas escritas. Esto puede ayudar a fomentar un ambiente inclusivo en entornos sociales, laborales y educativos.

#Trabajo Futuro

Aunque el sistema actual muestra un gran potencial, hay áreas que requieren más exploración. Una limitación principal es que PenSLR solo captura marcadores manuales: los gestos de las manos. No incluye indicadores no manuales, como expresiones faciales o movimientos de cabeza, que son importantes para entender completamente el lenguaje. Las futuras iteraciones del sistema podrían considerar integrar sensores adicionales para capturar estos aspectos.

Además, aunque hemos creado un gran conjunto de datos, es necesario ampliarlo para incluir más señas y frases para mejorar la utilidad del sistema en conversaciones del mundo real. Colaborar con organizaciones que trabajan con la comunidad sorda podría proporcionar valiosos conocimientos y datos para mejorar el sistema.

Por último, la dependencia de métodos de agrupamiento no toma en cuenta la estructura lingüística de la lengua de señas. Los futuros modelos podrían explorar formas de incorporar el lenguaje de manera más efectiva, utilizando potencialmente modelos de lenguaje que aseguren la coherencia al traducir gestos de señas a lenguaje hablado.

#Conclusión

PenSLR representa un avance prometedor en la tecnología de reconocimiento de lengua de señas. Al aprovechar una combinación de hardware asequible, técnicas avanzadas de aprendizaje profundo y enfoques innovadores para las predicciones del modelo, ofrece una herramienta útil para mejorar la comunicación de personas sordas y con dificultades auditivas.

A través del desarrollo y la refinación continuos, PenSLR tiene el potencial de lograr avances significativos en el cierre de la brecha de comunicación entre los usuarios de lengua de señas y la comunidad en general, promoviendo la inclusividad y el entendimiento.