La actividad más larga y difícil desde un punto de vista logístico es la creación de una Base de Datos de videos en Lengua de Signos Española para propósitos de investigación y desarrollo de técnicas de reconocimiento automático. La complejidad habitual de conseguir signantes para la creación de una Bases de Datos se incrementa por la particularidad de la tarea: personas sordas con un manejo fluido de la Lengua de Signos Española y que estén dispuestas a donar su tiempo sin recibir nada a cambio. Además durante la pandemia todo se complica aún más…

La implicación de las asociaciones de personas sordas fue y es fundamental para conseguir romper la barrera inicial de comunicación y convencer a los y las signantes que su aportación al proyecto servirá para desarrollar tecnología que les acabe facilitando la vida en muchos ámbitos y ayudará a las personas oyentes a comunicarse con más fluidez con ellas.

En este proyecto se están recopilando y anotando varias Bases de Datos de naturaleza diferenciada:

LSE_Lex40_UVIGO: Grabaciones hechas en el laboratorio con personas voluntarias

LSE_TVGWeather_UVIGO: Emisiones interpretadas en LSE de la Televisión de Galicia

SignaMed: Grabaciones de términos médicos realizadas de forma distribuida a través de internet

LSE_eSaude_UVIGO: Videos del canal de youtube del Servicio Galego de Saude interpretados en LSE y anotados por nuestro equipo de colaboradores

Esta Base de Datos pretende ser la referencia futura para la investigación y desarrollo de tecnología de reconocimiento de signos española. Es una Base de Datos en entorno controlado y con grabaciones de palabras y frases escogidas con un criterio científico y de usabilidad, repetidas por varios signantes. Se está grabando con la colaboración de la Asociación de Personas Sordas de Vigo (Asorvigo) y la Federación de Asociaciones de Personas Sordas de Galicia (FAXPG) que aglutina 7 asociaciones gallegas.

Estos videos están grabados simultáneamente con una cámara Nikon de alta velocidad y un sensor Kinect que captura color y profundidad (pulsa en la foto para ver un ejemplo de la calidad del video en alta resolución y sin efecto de movimiento).

En este artículo de investigación se pueden consultar los detalles del tipo de procesado que realizamos a los videos para sacar el máximo provecho a ambas fuentes de información.

De lunes a viernes, el telediario de mediodía de la televisión autonómica de Galicia (TVG) se interpreta en LSE. Tanto la emisión original en gallego como la versión en LSE, están disponibles en la web de la TVG. La ventaja de este canal es que el tamaño del intérprete y la resolución de la emisión hacen viable analizar detalles de los movimientos que en otras emisiones se hacen más complejos.

El dominio de las noticias es demasiado amplio como para considerar la adquisición de una base de datos para el SLR continuo. Por ello, inspirados en el trabajo de otros autores de la lengua de signos alemana, decidimos centrarnos en un dominio restringido: las previsiones meteorológicas.

La irrupción de la pandemia nos hizo replantearnos la forma de adquirir videos de LSE. Además, tras una encuesta entre la comunidad sorda detectamos que las aplicaciones en el entono de la salud eran las que más interesaban. Por ello decidimos crear un diccionario de términos médicos bilingüe en LSE y castellano, accesible en ambos idiomas. Lo denominamos SignaMed.  

De momento el diccionario solo busca palabras y signos aislados, ya que empezamos desarrollando tecnología para esta modalidad, pero nuestro plan a corto plazo es empezar a desarrollar tecnología para signado contínuo. 

Con este diccionario se abe la oportunidad de realizar un desarrollo colaborativo con la comunidad sorda ya que las grabaciones, realizadas de manera distribuida a través de internet, deben ser en condiciones realistas y con potenciales usuarios finales.

Pulsa en la foto para ver un video explicativo en LSE, castellano y gallego sobre la aplicación en construcción, SignaMed. Si eres una persona sorda y quieres colaborar ponte en contacto con nosotros.

Esta recopilación de videos no la hacemos nosotros sino el Servicio Gallego de Salud (SERGAS) contratando a la Federación de Personas Sordas de Galicia la interpretación de unas fichas de salud sobre temas de interés. Hemos llegado a un acuerdo con ellos para poder trabajar sobre estos vídeos, que estamos anotando para que sirvan de material de referencia para organizar un concurso internacional sobre búsqueda de signos en videos de signado contínuo en LSE dentro de la conferencia internacional European Conference on Computer Vision (ECCV2022). De esta forma tratamos de impulsar la investigación sobre reconocimiento en signado contínuo.