Cuando te grabas para buscar el significado de un signo o cuando colaboras para mejorar el diccionario, tu video se convierte, mediante un proceso automático basado en técnicas que entienden como se mueve y cuales son las limitaciones del cuerpo humano, en una serie de puntos que se mueven en el espacio. Estos puntos se corresponden con las articulaciones de brazos, manos y dedos, pero también con los puntos principales de la cara, como la boca, nariz, ojos, cejas…  No se usa nada del lugar en que te grabas ni de la ropa que llevas.  

Esta parte no se desarrolló específicamente para SignaMed sino que la desarrollaron otros investigadores para resolver problemas de reconocimiento automático de acciones humanas (correr, saltar, sentarse, bailar, etc). Nosotros usamos un modelo matemático que Google deja a nuestra disposición y que se llama Mediapipe holistic .

Esos puntos moviéndose en el espacio es lo que entra en el «cerebro» de SignaMed que lo compara con otras grabaciones previas de los signos del diccionario y decide a cuales se parece más.  El sistema de reconocimiento de signos de SignaMed está basado en unas técnicas de aprendizaje automático que están detrás del auge actual de la Inteligencia Artificial. Si quieres saber más detalles técnicos puedes entrar en la sección de diseminación. A efectos prácticos es como un estudiante de LSE, cuantos más ejemplos vea de un signo hecho por diferentes personas, mejor lo va a distinguir de otros signos parecidos. Como todo estudiante, quiere que su profesor/a signe muy claro, por eso si signas bien en LSE y nos quieres ayudar, regístrate y así nos das permiso para usar tus vídeos. Te puedes grabar con tu webcam o móvil desde la propia aplicación. Cuanto mejor te grabes y mejor signes más útil es para el estudiante SignaMed.

1) cuando haces una búsqueda en LSE el sistema te devuelve los 3 signos del diccionario que más se parecen ordenados según su probabilidad, para que veas su definición, sus variantes y un ejemplo de uso en frases del ámbito de la salud. SignaMed mejorara si le indicas si acertó o se equivocó. Así aprenderá de sus errores y reforzará los aciertos .

2) si estás registrado como colaborador puedes ir al listado de términos del diccionario, elegir alguno y grabar una de las variantes. También puedes usar la función «Dona un Signo» y dejar que SignaMed te pida los signos que menos distingue. Tu video se junta con otros del mismo signo que el sistema automático usará para mejorar el reconocimiento de ese signo.

3) Además, si ves que el diccionario no tiene una variante que tú usas o conoces, puedes aportarla y se incorporará en la siguiente versión , para que SignaMed aprenda a reconocerla cuando la busquen.

SignaMed procesa cada video mediante dos procesos consecutivos .

El primer proceso analiza cada fotograma del video buscando dónde hay una persona y cuáles son sus articulaciones. Esta parte usa el modelo Mediapipe holistic que ya te presentamos antes. Este modelo lo diseñó Google a partir de miles de videos de personas haciendo diferentes actividades, pero no específicamente utilizando lenguas de signos. Por eso hay que tener ciertas precauciones cuando lo usamos en SignaMed.

El segundo proceso parte de una secuencia de articulaciones moviéndose en el espacio, como el ejemplo anterior de Raquel signando CANSADA. Se introduce la secuencia de articulaciones como puntos en el espacio en un modelo matemático preparado en la Universidad de Vigo con muchos ejemplos de cada signo. El signo desconocido se compara internamente con las representaciones de cada signo en el modelo y éste encuentra los más parecidos.

Para que este modelo de SignaMed funcione bien, cada signo diferente tiene que tener ejemplos variados : diferentes personas más cerca o más lejos de la cámara, signando más lento o más rápido, abriendo más o menos los brazos, girándose más o menos respecto a la cámara, etc.

Fácil: procura que tus vídeos sean de buena calidad. El modelo de Google encuentra las articulaciones bastante bien en general, pero falla en los siguientes casos:

1) Las manos se mueven rápido y los fotogramas aparecen borrosos. Esto ocurre cuando hay poca luz donde te grabas, cuando la cámara es de mala calidad o cuando tu ordenador o móvil no le da tiempo a grabar suficientes fotogramas por segundo.

2) Estás muy cerca de la cámara y no se graban completas tus manos y cara.

3) Las manos están extendidas con los dedos en la dirección de la cámara. Mediapipe no encuentra bien los dedos.

4) Una mano o brazo oculta mucho a la otra

Elige una buena posición en un sitio bien iluminado para evitar 1) y 2) y procura hacer los signos evitando los efectos 3) y 4) quizás girándote un poco.