Sistema de reconocimiento automático de lenguaje de señas a través del alfabeto dactilológico colombiano mediante técnicas de visión por computador

Abstract

En el presente proyecto se desarrolló un sistema de visión por computadora que permita el reconocimiento de lenguaje de señas por medio de la dactilología colombiana en tiempo real, con el objetivo de permitir la inclusión de las personas con discapacidad auditiva. La metodología utilizada es de tipo exploratorio y aplicada en su elaboración al igual que con un enfoque cuantitativo. Para el desarrollo se utilizó Python como lenguaje de programación junto a su biblioteca principal OpenCV, en ella se creó un script que permita la recolección de imágenes para el conjunto de datos. Por medio de Grounding DINO se realiza el etiquetado en cada imagen, esto consiste en dibujar un cuadro delimitador o bounding box al objeto o área de interés en que se desea predecir, las coordenadas de cada cuadro se guardaron en archivos de texto junto a su clase, este procedimiento se desarrolló en un entorno de Google Colab debido a exigencias computacionales. Después se realiza el entrenamiento utilizando un modelo de red neuronal denominado Yolov8. Por último, se utiliza tkinter para realizar una interfaz gráfica que permite por medio de diversos widgets una mejor interacción para los usuarios mediante componentes visuales. Cada predicción obtuvo resultados favorables al probar el modelo en tiempo real con valores cercanos al 100% de probabilidad o nivel de confianza.