Sistema de Apoyo Guía para Personas con Discapacidad Visual Basado en Visión Artificial y desarrollo electrónico

Abstract

El presente proyecto de grado tiene como objetivo diseñar un sistema de apoyo guía para personas con discapacidad visual, basado en visión artificial y retroalimentación auditiva, con el fin de facilitar su movilidad, en entornos cotidianos. Esta investigación surge ante las barreras significativas que enfrentan las personas con discapacidad visual al desplazarse.

La metodología empleada se desarrolló bajo un enfoque tecnológico y experimental. En una primera etapa se realizó la selección del hardware y software necesarios para la captura, transmisión y procesamiento de imágenes, considerando criterios de eficiencia y compatibilidad ,se envía la foto, se evalúa por medio de 7 modelo de visión artificial, verificando si la imagen contiene elementos con los que se entrenaron los modelos de visión artificial, se desarrolló una interfaz de comunicación auditiva que traduce la información visual procesada en mensajes de audio comprensibles para el usuario. El sistema se compone de una arquitectura cliente–servidor, en la cual un dispositivo de captura, módulo ESP32S3-CAM, envían una imagen a través de una red WiFi hacia un servidor, En el servidor, las imágenes son procesadas mediante modelos de aprendizaje profundo, utilizando la arquitectura YOLOv8 y BLIP, con el fin de detectar objetos y analizar el entorno para identificar posibles obstáculos del entorno.

Los resultados obtenidos por los modelos de detección y análisis son integrados en un pipeline multimodal, que produce una salida estructurada en formato de texto que luego es convertida a audio por medio de SILERO-TTS

Finalmente, la respuesta del sistema es enviada nuevamente al usuario, proporcionando retroalimentación auditiva adecuada sobre el entorno analizado. Este trabajo demuestra la posibilidad de integrar modelos de visión por computador y procesamiento de audio, destacando su aplicabilidad en escenarios donde se requiere asistencia automatizada basada en el reconocimiento del entorno.