demostrando el potencial de nuestra investigación
SignaMed: diccionario colaborativo multiplataforma en LSE sobre términos médicos
A partir de la investigación realizada en el proyecto Speech&Signs estamos construyendo una aplicación accesible que denominamos SignaMed. Es una aplicación multiplataforma interactiva que permite consultar un diccionario en LSE grabando y visualizando signos de términos médicos.
El principal objetivo de esta plataforma es poner en marcha una herramienta que posibilite la interacción de personas sordas y oyentes en un entorno de cuidado de salud (centros de salud, hospitales, farmacias,…).
¿Qué es y para qué nace SignaMed?
¿Qué es SignaMed? Es un diccionario colaborativo de términos médicos en LSE. Actualmente los diccionarios de LSE, cuyo mayor exponente es el DILSE de la Fundación CNSE ( https://fundacioncnse-dilse.org), solo permiten buscar signos por palabras de la lengua castellana. Cuando buscas una palabra estos diccionarios te muestran un vídeo con el signo correspondiente y su definición en texto. Con SignaMed pretendemos ampliar esta funcionalidad de dos formas:
- búsquedas de términos en LSE
- definiciones en LSE
¿Cómo nace SignaMed? En el proyecto de investigación Speech&Signs de la Universidad de Vigo desarrollamos tecnología básica que permitirá, en pocos años, que las máquinas puedan entender LSE de forma similar a como entienden la lengua oral.
SignaMed nace como una aplicación práctica para mostrar los avances que tenemos hasta la fecha en traducción automática de LSE. El proyecto Speech&Signs estuvo financiado por el Ministerio de ciencia, innovación y universidades y contó con la colaboración de las asociaciones de personas sordas de Galicia. Mientras tengamos los recursos suficientes seguiremos mejorando SignaMed hasta su plena funcionalidad.
¿Y por qué sólo sirve para términos médicos? ¡Esto es sólo el principio! En el año 2020 pasamos una encuesta a personas sordas para saber en qué situaciones cotidianas les gustaría poder utilizar un sistema de traducción automática de LSE a español hablado o escrito. La mayoría de las personas contestaron que en la atención sanitaria sería muy útil. Pero desarrollar tecnología para reconocimiento automático de LSE es muy complejo técnicamente y laborioso en cuanto a horas de investigadoras e investigadores que desarrollan herramientas software y personas voluntarias que graben signos para tener ejemplos. Así que decidimos empezar por el vocabulario que resultara más úti.
¿Por qué creemos que los términos médicos son útiles? Seguramente habrá ocasiones en que una persona sorda vea un signo médico que no conozca y quiera saber su significado. Para buscar el signo en un diccionario clásico tendría que hacerlo con una palabra de español y, si lo encuentra, el significado sería un texto escrito. Con SignaMed podría buscar el signo directamente y acceder a su significado, todo en LSE. Pero SignaMed es un diccionario bilingüe, por lo que también podría buscar una palabra médica del español que no conoce, ver cómo se signa y acceder a su significado en LSE. Además, las personas oyentes también pueden beneficiarse de SignaMed, por ejemplo, el personal sanitario que quiera familiarizarse y practicar los signos propios de su ámbito profesional, concienciando al colectivo para empezar a derribar barreras comunicativas.
¿Y por qué decimos que es un diccionario colaborativo? Para que SignaMed entienda un signo primero hay que enseñarle muchos vídeos de ese signo. En la Universidad de Vigo estamos grabando signos y frases en nuestro laboratorio. También hemos grabado en la Asociación de Personas Sordas de Vigo (ASORVIGO), pero la pandemia no ha permitido seguir grabando en otras asociaciones. Además, grabar a cada persona, una a una, es un proceso lento. Sin embargo, las personas interesadas en que SignaMed siga creciendo, en número de signos médicos y funcionalidades, pueden colaborar cediendo sus vídeos de forma privada. Si las personas que usan SignaMed colaboran el diccionario crecerá mucho más rápido.
Funcionalidad actual de SignaMed
A continuación describimos qué te encuentras actualmente al entrar en la aplicación web de SignaMed.
PANTALLA DE LOGIN
Para entrar a la aplicación web, hay que introducir http://signamed.web.app en un navegador. El ordenador o móvil debe tener una cámara conectada y al usuario se le pide permiso para grabarle.
A la aplicación se puede entrar en modo «invitad@», para el que no hay que introducir ningún login. Si se quiere acceder al modo de «colaboración» hay que hacerse una cuenta. Con un email válido y una clave cualquiera ya se registra.
PANTALLA DE FUNCIONES PRINCIPALES
Cuando entras en modo invitad@ tendrás acceso al diccionario. El icono de la cámara representa la búsqueda en LSE y el icono de la lupa representa la búsqueda en texto. Más abajo te presentamos un par de videos de cómo usar estas búsquedas.
Cuando entras en modo colaboración tendrás acceso, además, a funciones extra. El icono de la MANO sirve para DONAR SIGNOS. Con esta función puedes dejar que la máquina te pida los signos que más le hacen falta para seguir aprendiendo. Puedes ver un video de esta función más abajo. Los demás iconos indican diferentes estudios y juegos que vamos proponiendo. En el ejemplo de la izquierda, con iconos de ROBOTS puedes competir a acertar signos tal y como los ve la máquina: articulaciones en movimiento. ¡Pruébalos!
Estas funciones tienen premios. Estate atento a las RRSS de SignaMed para ver cómo participar.
MODO DICCIONARIO: CONSULTA DE TÉRMINOS EN TEXTO O SIGNOS EN LSE
Actualmente tenemos seleccionadas unas 230 definiciones de conceptos de salud de uso común en las consultas, con sus signos y algunas variantes. En total tenemos recogidos unos 320 signos. Tenemos ya algunos ejemplos de cómo se signan, y un modelo computacional que identifica el signo cuando una persona lo hace frente a su cámara. Los signos en color rojo todavía no son accesibles en LSE y los naranjas tienen alguna variante identificable y otra no. Para que el sistema aprenda a identificar tiene que ver unos pocos ejemplos, por eso este diccionario es colaborativo. Necesitamos que las personas que saben LSE le enseñen.
En los siguientes vídeos puedes ver ejemplos de cómo hacer búsqueda de signos en LSE y términos en texto.
Tanto para consultar un signo en LSE como para aportar un ejemplo (sólo en modo colaboración) hay que pulsar el botón GRABAR. Entonces el sistema muestra un contador 3-2-1-0 y graba el número de segundos especificado en la pestaña junto a «GRABAR». Se puede elegir entre 2 y 5 segundos. En modo consulta el sistema devuelve las 3 primeras opciones de respuesta, es decir, los 3 signos que el sistema ha decidido que son más parecidos al signado, en orden de preferencia y devuelve además las variantes que tengamos registradas, la definición y algún ejemplo de uso en una frase. Estas frases están extraídas del canal de youtube del SERGAS (Servicio Gallego de Salud) y han sido grabadas por FAXPG. Aún no tenemos frases para todos los signos pero las iremos completando.
La búsqueda por texto es más parecida a la del DILSE, pero todavía ¡con muchos menos signos!. El resultado es el video del signo, sus variantes registradas, la definición en texto y en LSE y ejemplos de uso. Si conoces una variante nueva puedes aportarla en el icono del PUZZLE. Si el signo está en ROJO, puedes aportar un ejemplo para ayudar a la máquina a identificarlo automáticamente.
FUNCIÓN DONAR SIGNOS
Siempre que veas un signo en color ROJO sabrás que nos hacen falta ejemplos grabados por diferentes personas desde sus casas para que el sistema aprenda formas de signarlo. Recuerda que tu vídeo nunca se compartirá con nadie y que la máquina sólo usa el movimiento de las articulaciones para identificar el signo. Puedes ver en la sección de DIVULGACIÓN qué hacemos con tus vídeos y cómo usamos la inteligencia artificial y el aprendizaje automático para que el sistema sea útil. Al final de esta página también puedes consultar los términos y condiciones de uso de SignaMed y nuestra política de privacidad.
Si quieres donar muchos signos de una vez sin preocuparte de ver cuáles necesitamos más, entra en la función DONAR SIGNOS y verás lo fácil que es. En el siguiente video te mostramos cómo donar signos seguidos sin necesidad de usar el ratón o el teclado.
SignaMed está administrada y operada por el Grupo de Tecnologías Multimedia (GTM) del Centro de Investigación atlanTTic con colaboración del grupo de investigación GRADES de la Facultad de filología y traducción, ambos de la Universidad de Vigo.
La utilización de SignaMed atribuye la condición de Usuario a quien lo haga e implica la aceptación de todas las condiciones incluidas en este documento y en la Política de Privacidad. El Usuario debería leer este documento de nuevo cada vez que se le notifique de un cambio en las políticas de uso.
Cualquier persona puede obtener acceso a SignaMed sin ningún tipo de restricción. Para usar la aplicación en su modo básico no hace falta registrarse, pudiendo entrar como usuario invitado.
Para tener acceso completo a todas las funciones de SignaMed el Usuario deberá registrarse a través de la propia aplicación. Por restricciones legales de grabación a menores de 15 años, para registrarse deberá confirmar que tiene al menos esa edad. Sólo se pedirá una dirección de correo electrónico válida y una contraseña que, por seguridad, debería ser diferente a otras contraseñas que se utilicen en otros servicios. Ambos datos quedan protegidos por nuestra Política de Privacidad.
Las funciones a las que tiene acceso un Usuario registrado son, principalmente, las que permiten sugerir términos nuevos para que sean incluidos en el diccionario SignaMed. El Usuario registrado podrá sugerir términos en texto y, mejor aún, términos cuyo signo ya conozca y los pueda grabar. Las definiciones de términos que contengan más ejemplos de signos grabados por varios Usuarios registrados se incorporarán más rápido que los términos solo sugeridos en texto o con muy pocos vídeos de ejemplo.
Los videos de ejemplo de los términos y definiciones incorporados al diccionario siempre estarán signados por personas sordas o intérpretes. Si el término ya está disponible en DILSE se usarán los videos de términos de dicha web.
Mientras el Usuario esté haciendo uso de SignaMed como usuario registrado acepta que los videos que grabe puedan ser usados para mejorar la aplicación. Los videos quedarán almacenados de forma segura y NUNCA se cederán a nadie. Vea nuestra Política de Privacidad para más información sobre el cumplimiento del Reglamento General de Protección de Datos de carácter personal. Si un Usuario registrado quiere hacer un uso anónimo en un momento determinado para que no se guarde su vídeo no tiene más que salir y entrar de nuevo como Invitado.
Aunque los videos de signos se tratan de manera automatizada en nuestros servidores de cálculo en la Universidad de Vigo, es posible que algún video pueda ser visualizado por alguna persona del equipo de desarrollo con el propósito de mejorar los algoritmos en casos concretos. Es responsabilidad del Usuario enviar videos en los que no salgan otras personas que no hayan aceptado explícitamente estos términos y condiciones y SÓLO enviar videos en los que salga el Usuario registrado signando.
La aplicación de captura muestra un cuadrado (CORRECCIÓN: OPCIONALMENTE) sobre el flujo de vídeo para que el usuario lo tome como referencia para situar la cabeza. Ese recuadro está pensado para que el Usuario se auto-grabe el tronco superior y con suficiente espacio para mover los brazos. La precisión del reconocimiento del signo dependerá de la calidad del video auto-grabado. Videos con manos cortadas en la parte fundamental del signo, con escasa iluminación o contraluz darán lugar a más errores de reconocimiento.
SignaMed es un proyecto sin ánimo de lucro y para el beneficio de la sociedad. Queda prohibido utilizar la aplicación SignaMed o sus contenidos para un fin comercial sin el consentimiento explícito de sus desarrolladores.
SignaMed es un proyecto en desarrollo y las actualizaciones serán frecuentes. El Usuario se compromete a aceptar la instalación de cada nueva versión (CORRECCIÓN: EL USUARIO NO TIENE QUE INSTALAR NADA) y nosotros nos comprometemos a no cambiar los términos y condiciones de uso ni la política de privacidad sin avisar previamente.
El equipo de desarrollo de SignaMed no se hace responsable de los cargos en los que el Usuario pueda incurrir por utilizar la red de datos de su operador de telefonía móvil.
Queda prohibido alterar o modificar ninguna parte de la aplicación SignaMed o de los contenidas de la misma, eludir, desactivar o manipular de cualquier otra forma (o tratar de eludir, desactivar o manipular) las funciones de seguridad u otras funciones del programa.
Todos los derechos de propiedad intelectual pertenecen a los autores PRESENTADOS EN ESTA WEB. Los derechos de propiedad industrial, derechos patrimoniales, marcas comerciales, nombres comerciales y logotipos relacionados pertenecen a la Universidad de Vigo.
Política de privacidad
En cumplimiento de la normativa vigente en materia de protección de datos, Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 (RGPD), la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (LOPDGDD), le facilitamos la siguiente información que debe leer antes de registrarse en la aplicación SignaMed.
- Responsable del tratamiento de los datos de carácter personal: Universidad de Vigo
- Datos de carácter personal que se tratan en SignaMed: dirección de correo electrónico e imágenes faciales del Usuario registrado signante. Los usuarios que hagan uso de la aplicación SignaMed en modo Invitado no ceden ningún dato de carácter personal. Los videos grabados por los usuarios en modo Invitado no quedan almacenados en los servidores.
- Finalidad del tratamiento de dichos datos: asociar al usuario registrado con sus videos grabados de manera anonimizada
- Legitimación del uso: consentimiento expreso del interesado. Este tendrá derecho a retirar dicho consentimiento en cualquier momento, si bien ello no afectará a la licitud del tratamiento previo a su retirada.
- Destinatarios: No se contemplan cesiones de datos a terceros. La Universidad de Vigo sólo utilizará los videos de forma automatizada, sin sacarlos nunca de los servidores de cálculo de la Universidad y sin identificar a los usuarios signantes
- Derechos: Los Usuarios registrados tienen derecho a ejercer sus derechos en materia de protección de datos (entre ellos a acceder, rectificar y suprimirlos) así como a retirar su consentimiento enviando un correo electrónico a dpd@uvigo.gal indicando la dirección de correo electrónico utilizada para el registro. También pueden ejercer dichos derechos a través de la sede electrónica de la Universidad de Vigo o de cualquier registro administrativo y oficinas de correos a que se refiere el artículo 16 de la Ley 39/2015.
Puede consultar más información en materia de protección de datos en https://www.uvigo.gal/proteccion-datos
¿Cual es la tecnología subyacente?
Aunque SignaMed está pensado como un diccionario sectorial, la tecnología subyacente permite pensar en otros diccionarios para sectores en los que la comunicación es más complicada por la terminología empleada: banca, seguros, administración, etc.
Sin entrar en mucho detalle técnico, que se puede leer en este artículo de investigación, podemos diferenciar tres bloques principales: el bloque de interfaces, el bloque de servicios alojados en la nube y por último el bloque de cómputo.
El bloque de interfaces: por un lado, el usuario podrá acceder a través de su propio navegador para lo cual hemos desarrollado un cliente web utilizando ReactJS, por otro lado, para los usuarios de móvil desarrollaremos una interfaz adaptada tanto para Android como iOS, utilizando React Native por ser multiplataforma.
Se ha consultado con personas sordas varios aspectos prácticos sobre cómo ellos usan las tecnologías de comunicación con grabación de vídeo para comunicarse habitualmente.
El bloque de servicios alojados en la nube engloba los servicios de autorización, almacenamiento, base de datos y hosting actualmente alojados en la plataforma de Firebase. Mediante estos servicios podremos restringir, registrar y monitorizar el volumen de accesos, peticiones y recursos requeridos, proporcionando un servicio seguro, rápido y escalable. A sí mismo, el servicio web está hospedado en Firebase lo cual nos proporciona diversas prestaciones como alta disponibilidad, redundancia, tolerancia a los fallos y baja latencia.
Por último, el bloque de cómputo engloba los servidores custodiados y gestionados en las instalaciones del grupo de investigación equipados con potentes GPU y diversos equipos intermedios de seguridad para garantizar la integridad de los sistemas y la información transmitida. Estos servidores son clave al proporcionar la capacidad de cómputo necesaria para aplicar técnicas avanzadas de “visión por computadora” y “Deep Learning” y, por otro lado, garantizan la disponibilidad de almacenamiento seguro y controlado de la información delicada.