Desarrollo de un Sistema con Inteligencia Artificial para la Traducción y Conversación de 14 señas del Lenguaje de Señas Colombiano en Instituciones Educativas de Colombia, 2025-2026

Abstract

El presente trabajo de grado tuvo como objetivo desarrollar un sistema de inteligencia artificial capaz de traducir en tiempo real catorce señas del Lenguaje de Señas Colombiano (LSC) a texto y voz, con el fin de facilitar la comunicación entre personas sordas y la comunidad oyente, especialmente en contextos educativos. Para ello, se adoptó un enfoque cuantitativo y aplicado, integrando técnicas de visión por computador y aprendizaje profundo.

La metodología consistió en la captura de videos de señas ejecutadas por los autores del proyecto en distintos entornos y utilizando diferentes dispositivos de grabación. A partir de estos videos se extrajeron keypoints de manos y rostro mediante la librería MediaPipe, los cuales fueron organizados y normalizados en secuencias temporales de longitud fija. Estas secuencias conformaron el conjunto de datos utilizado para el entrenamiento de un modelo de red neuronal recurrente tipo LSTM, implementado en TensorFlow y Keras, debido a su capacidad para modelar patrones temporales presentes en los movimientos gestuales.

Los resultados evidenciaron que el sistema desarrollado permite reconocer y clasificar las catorce señas seleccionadas del LSC y generar su correspondiente traducción a texto y voz en tiempo real. Entre los principales hallazgos se destaca que el uso de keypoints reduce la complejidad del procesamiento visual, que la normalización temporal mejora la estabilidad del modelo frente a variaciones en la ejecución de las señas y que la arquitectura LSTM resulta adecuada para capturar la dinámica temporal de los gestos.

En conclusión, la herramienta desarrollada representa un apoyo tecnológico funcional para la inclusión y la reducción de barreras de comunicación en entornos educativos. No obstante, su alcance se limita a un conjunto específico de señas y a las condiciones de captura consideradas, por lo que se recomienda ampliar el vocabulario y evaluar el sistema con un mayor número de usuarios y escenarios.