Redes neurais convolucionais na detecção e interpretação da linguagem de sinais para assitência a indivíduos com deficiência auditiva

Abstract

ResumoA comunicação entre surdos e ouvintes ainda enfrenta barreiras, especialmente no reconhecimento automático da Língua Brasileira de Sinais (LIBRAS). Este trabalho apresenta o desenvolvimento de um protótipo web para identificar e classificar sinais do alfabeto manual da LIBRAS, utilizando redes neurais convolucionais treinadas com aprendizado supervisionado e otimizadas com o algoritmo Stochastic Gradient Descent. A solução integra TensorFlow, Keras e MediaPipe para detecção e análise de gestos em tempo real, processando imagens RGB de mãos com 64x64 píxeis. O modelo atingiu acurácia de 98,67% na validação e desempenho semelhante no teste, demonstrando boa generalização em ambientes controlados. A análise por classe indicou 100% de precisão em 12 das 21 letras, com erros concentrados entre sinais semelhantes. Em testes com webcam, a acurácia variou entre 50% e 100% conforme o cenário, destacando limitações em ambientes com ruído visual ou ângulos desfavoráveis. Comparado a estudos anteriores, o modelo apresentou desempenho superior ao aplicar técnicas como data augmentation e normalização. Os resultados demonstram o potencial do sistema para aplicações acessíveis e interativas no navegador.