Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales
Las personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que i...
Saved in:
| Main Author: | |
|---|---|
| Format: | bachelorThesis |
| Language: | spa |
| Published: |
2025
|
| Subjects: | |
| Online Access: | http://dspace.ups.edu.ec/handle/123456789/30964 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
Add Tag | Summary: | Las personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que interpreta el lenguaje de señas en tiempo real para controlar dispositivos inteligentes mediante el asistente virtual Alexa. Se capturaron más de 9,500 imágenes de 9 señas, que fueron utilizadas para entrenar un modelo de inteligencia artificial basada en MobileNetV2, logrando una precisión mayor al 99 %. El sistema reconoce comandos formados por 2 señas secuenciales, detectadas por una interfaz en Python, e incluye una etapa de calibración para posicionar correctamente al usuario frente a la cámara. La integración con Alexa se realizó usando Voice Monkey e IFTTT para controlar dispositivos inteligentes a través de scripts de Python que envían solicitudes HTTP. El sistema ofrece tiempos de respuesta menores a 2 segundos y obtuvo una calificación promedio de 4.6/5 en experiencia de usuario. |
|---|