La robótica asistencial, una aliada para romper las barreras comunicativas

Alicante/Garantizar el derecho a la inclusión es vital en todos los colectivos de la sociedad, al igual que la capacidad para entender y que nos entiendan, con independencia de tener o no una discapacidad. La robótica asistencial se está convirtiendo en un soporte con un amplio potencial para ayudar a las personas sordas a poder desenvolverse en los retos de la comunicación.

Un avance en ese terreno lo constituye, ahora, la primera aplicación capaz de reconocer e interpretar en tiempo real el alfabeto de la Lengua de Signos Española, diseñada recientemente, sin subvención pública alguna, por dos investigadores del Grupo de Robótica y Visión Tridimensional (RoViT) de la Universidad de Alicante (UA).

La profesora Ester Martínez y el estudiante de doctorado Francisco Morillas se enfrascaron en esta iniciativa sin conocer, en un principio, la lengua de signos y han logrado materializar una aplicación que, según fuentes de la UA, contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como ir a la consulta médica o comer en un restaurante.

Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), Ester Martínez, que trabaja en robótica asistencial, y Francisco Morillas han desarrollado esta herramienta de bajo coste, bautizada con el nombre Sign4all, con el fin de poder ofrecer asistencia a las personas sordas cuando no puedan ir acompañadas de un intérprete.

En declaraciones a Efe, Martínez ha explicado que este proyecto se inició hace dos años, coincidiendo con el trabajo de fin de grado de Francisco Morillas, que ahora está haciendo el doctorado, y surgió después de que en 2018 diseñaran una aplicación para monitorizar y realizar ejercicio físico con gente mayor y una interfaz para que estas personas pudieran interactuar con la misma.

Desarrollando esa interfaz se preguntaron "qué pasa si la persona a la que está intentando monitorizar el robot tiene algún tipo de discapacidad visual o auditiva", ha revelado Martínez.

Fuentes de la UA han detallado cómo funciona esta herramienta: Sign4all, tras capturar a la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario.

Innovadora cualidad bidireccional

A partir de este momento, la aplicación posee una cualidad bidireccional, que la convierte en innovadora a nivel internacional, ya que traduce el signo realizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar, mediante un avatar virtual, palabras en español tecleadas por la persona oyente.

"La idea es que todo este proceso se pueda hacer descargando una aplicación con la propia cámara del móvil o una tablet para que pueda emplearse en cualquier lugar y de manera sencilla", ha detallado Martínez, quien ha explicado que, después de muchas pruebas, Sign4all logra interpretar y reconocer el alfabeto de la Lengua de Signos Española (LSE) con una precisión del 80%.

Aunque este resultado se corresponde con el alfabeto dactilológico (cada signo representa una letra), "estamos trabajando en una versión con un vocabulario específico perteneciente al campo de las tareas cotidianas donde interpretar frases completas”, ha anunciado.

Colaboración con la Universidad de Vigo

El equipo de trabajo de la UA lleva meses "entrenando" este nuevo sistema introduciendo cada vez más signos. En este sentido, se ha sellado una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (Griles) de la Universidad de Vigo, con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios.

La aplicación que han creado para los sordos permite por ahora reconocer el alfabeto de la lengua de signos y signarlo, pero los dos investigadores de la UA disponen ya de un nuevo corpus de datos de vocabulario de alimentación y añadirán, con unas pruebas que están haciendo sus colegas de la Universidad de Vigo, expresiones de interacción social.

"En estos momentos, lo único que está finalizado y completado es lo concerniente al abecedario, aunque estamos intentando ampliarlo para que realmente la aplicación sea útil y llegue a la mayor cantidad de gente posible", ha dicho Martínez.

Hasta la fecha, este proyecto no ha recibido ninguna subvención pública, salvo la concesión de una beca de investigación para que Francisco Morillas haga el doctorado en esta línea.