El problema del reconocimiento de signos realizados con las manos y el cuerpo está muy relacionado con el de reconocimiento de acciones (comer, saltar, correr,…), con la complicación añadida de que en los signos el movimiento de las manos es muy veloz y de que diferencias muy sutiles en la ejecución pueden cambiar completamente el significado de lo que se quiere comunicar. Por supuesto, el reconocimiento de signos aislados es más sencillo que la identificación de una secuencia de signos con una gramática determinada. Por tanto en este proyecto nos enfocamos inicialmente en el reconocimiento de signos aislados.

En cierto modo el problema del reconocimiento de lengua de signos es análogo al de reconocimiento del habla, pero con la sustancial diferencia de que en la lengua de signos la información se proporciona a través de varios canales simultáneos (manos, hombros, cabeza, expresión facial y mirada), mientras que en el habla solo interviene la señal de voz. Se trata, por tanto, de un problema mucho más complejo que va a requerir un amplio conjunto de vídeos de entrenamiento debidamente etiquetado. Tanto la captura del corpus de entrenamiento como el etiquetado son tareas muy laboriosas y especializadas.

Una vez que se tiene localizada la zona donde reside la información útil para identificar un signo todavía quedan muchos detalles que se deben analizar: configuración de cada mano, orientación de la palma, posición respecto al cuerpo, movimiento de las manos, tronco, hombros y cabeza, expresión facial y direccón de la mirada. Cuando una persona aprende lengua de signos necesita ver y practicar muchos ejemplos para detectar diferencias sutiles entre todas estas componentes (denominadas componentes manuales o no manuales en función de si intervienen las manos) y distinguir qué detalles son importantes para diferenciar signos y cuáles son debidas a la forma de signar de una determinada persona en una circunstancia concreta.

Para enseñar a un sistema automático a reconocer los signos hay que dotarle de la capacidad de distinguir todos estos detalles (una inteligenica artificial) y luego enseñarle múltiples ejemplos de signos realizados por diferentes personas y en múltiples circunstancias (una Base de Datos de vídeos anotados).

En las siguientes secciones te vamos a explicar qué hemos hecho en el proyecto para enseñar a las máquinas a reconocer signos aislados.