Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales
Las personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que i...
Gespeichert in:
| 1. Verfasser: | |
|---|---|
| Format: | bachelorThesis |
| Sprache: | spa |
| Veröffentlicht: |
2025
|
| Schlagworte: | |
| Online Zugang: | http://dspace.ups.edu.ec/handle/123456789/30964 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Tag hinzufügen | _version_ | 1858988313315115008 |
|---|---|
| author | Arias Santillán, Tania Jessenia |
| author_facet | Arias Santillán, Tania Jessenia |
| author_role | author |
| collection | Repositorio Universidad Politécnica Salesiana |
| dc.contributor.none.fl_str_mv | Romero Mejía, Luis Geovanny |
| dc.creator.none.fl_str_mv | Arias Santillán, Tania Jessenia |
| dc.date.none.fl_str_mv | 2025-09-05T15:37:33Z 2025-09-05T15:37:33Z 2025 |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | http://dspace.ups.edu.ec/handle/123456789/30964 |
| dc.language.none.fl_str_mv | spa |
| dc.rights.none.fl_str_mv | Atribución-NoComercial-SinDerivadas 3.0 Ecuador http://creativecommons.org/licenses/by-nc-nd/3.0/ec/ info:eu-repo/semantics/openAccess |
| dc.source.none.fl_str_mv | reponame:Repositorio Universidad Politécnica Salesiana instname:Universidad Politécnica Salesiana instacron:UPS |
| dc.subject.none.fl_str_mv | BIOMEDICINA VISIÓN POR COMPUTADORA LENGUAJE DE SEÑAS DISPOSITIVOS INTELIGENTES |
| dc.title.none.fl_str_mv | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| dc.type.none.fl_str_mv | info:eu-repo/semantics/publishedVersion info:eu-repo/semantics/bachelorThesis |
| description | Las personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que interpreta el lenguaje de señas en tiempo real para controlar dispositivos inteligentes mediante el asistente virtual Alexa. Se capturaron más de 9,500 imágenes de 9 señas, que fueron utilizadas para entrenar un modelo de inteligencia artificial basada en MobileNetV2, logrando una precisión mayor al 99 %. El sistema reconoce comandos formados por 2 señas secuenciales, detectadas por una interfaz en Python, e incluye una etapa de calibración para posicionar correctamente al usuario frente a la cámara. La integración con Alexa se realizó usando Voice Monkey e IFTTT para controlar dispositivos inteligentes a través de scripts de Python que envían solicitudes HTTP. El sistema ofrece tiempos de respuesta menores a 2 segundos y obtuvo una calificación promedio de 4.6/5 en experiencia de usuario. |
| eu_rights_str_mv | openAccess |
| format | bachelorThesis |
| id | UPS_2b393ea7dfdaae6b84cd9e45c0b8e5dd |
| instacron_str | UPS |
| institution | UPS |
| instname_str | Universidad Politécnica Salesiana |
| language | spa |
| network_acronym_str | UPS |
| network_name_str | Repositorio Universidad Politécnica Salesiana |
| oai_identifier_str | oai:dspace.ups.edu.ec:123456789/30964 |
| publishDate | 2025 |
| reponame_str | Repositorio Universidad Politécnica Salesiana |
| repository.mail.fl_str_mv | . |
| repository.name.fl_str_mv | Repositorio Universidad Politécnica Salesiana - Universidad Politécnica Salesiana |
| repository_id_str | 1737 |
| rights_invalid_str_mv | Atribución-NoComercial-SinDerivadas 3.0 Ecuador http://creativecommons.org/licenses/by-nc-nd/3.0/ec/ |
| spelling | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtualesArias Santillán, Tania JesseniaBIOMEDICINAVISIÓN POR COMPUTADORALENGUAJE DE SEÑASDISPOSITIVOS INTELIGENTESLas personas con discapacidad auditiva enfrentan exclusión tecnológica al interactuar con asistentes virtuales, ya que la mayoría de ellos responden ´únicamente a comandos de voz. Para mejorar la accesibilidad y autonomía de este grupo de personas, se desarrolló un sistema de visión artificial que interpreta el lenguaje de señas en tiempo real para controlar dispositivos inteligentes mediante el asistente virtual Alexa. Se capturaron más de 9,500 imágenes de 9 señas, que fueron utilizadas para entrenar un modelo de inteligencia artificial basada en MobileNetV2, logrando una precisión mayor al 99 %. El sistema reconoce comandos formados por 2 señas secuenciales, detectadas por una interfaz en Python, e incluye una etapa de calibración para posicionar correctamente al usuario frente a la cámara. La integración con Alexa se realizó usando Voice Monkey e IFTTT para controlar dispositivos inteligentes a través de scripts de Python que envían solicitudes HTTP. El sistema ofrece tiempos de respuesta menores a 2 segundos y obtuvo una calificación promedio de 4.6/5 en experiencia de usuario.People with hearing impairments face technological exclusion when interacting with virtual assistants, as most of them respond only to voice commands. To improve accessibility and autonomy for this group of people, a computer vision system was developed that interprets sign language in real time to control smart devices using the Alexa virtual assistant. More than 9,500 images of 9 signs were captured and used to train an artificial intelligence model based on MobileNetV2, achieving an accuracy greater than 99 %. The system recognizes commands consisting of 2 sequential signs, detected by a Python interface, and includes a calibration stage to correctly position the user in front of the camera. Integration with Alexa was carried out using Voice Monkey and IFTTT to control smart devices through Python scripts that send HTTP requests. The system offers response times under 2 seconds and obtained an average rating of 4.6/5 in user experience.Romero Mejía, Luis Geovanny2025-09-05T15:37:33Z2025-09-05T15:37:33Z2025info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttp://dspace.ups.edu.ec/handle/123456789/30964spaAtribución-NoComercial-SinDerivadas 3.0 Ecuadorhttp://creativecommons.org/licenses/by-nc-nd/3.0/ec/info:eu-repo/semantics/openAccessreponame:Repositorio Universidad Politécnica Salesianainstname:Universidad Politécnica Salesianainstacron:UPS2026-01-16T21:17:31Zoai:dspace.ups.edu.ec:123456789/30964Institucionalhttps://dspace.ups.edu.ec/Institución privadahttps://www.ups.edu.ec/https://dspace.ups.edu.ec/oai.Ecuador...opendoar:17372026-01-16T21:17:31Repositorio Universidad Politécnica Salesiana - Universidad Politécnica Salesianafalse |
| spellingShingle | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales Arias Santillán, Tania Jessenia BIOMEDICINA VISIÓN POR COMPUTADORA LENGUAJE DE SEÑAS DISPOSITIVOS INTELIGENTES |
| status_str | publishedVersion |
| title | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| title_full | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| title_fullStr | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| title_full_unstemmed | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| title_short | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| title_sort | Sistema de visión artificial para la interpretación de lenguaje de señas como interfaz de control en asistentes virtuales |
| topic | BIOMEDICINA VISIÓN POR COMPUTADORA LENGUAJE DE SEÑAS DISPOSITIVOS INTELIGENTES |
| url | http://dspace.ups.edu.ec/handle/123456789/30964 |