Reconhecimento multimodal de gestos manuais e marcadores faciais gramaticais da Língua Brasileira de Sinais por visão computacional em apoio à comunicação de pessoas com deficiência auditiva
| Título | Reconhecimento multimodal de gestos manuais e marcadores faciais gramaticais da Língua Brasileira de Sinais por visão computacional em apoio à comunicação de pessoas com deficiência auditiva | pt_BR |
| Autor | Figueiredo, Débora dos Santos | |
| Orientador | Coral, Sérgio | |
| Resumo / Abstract | A comunicação entre pessoas surdas e ouvintes que não dominam a Língua Brasileira de Sinais (Libras) ainda representa uma barreira de acessibilidade. Embora sistemas computacionais de reconhecimento de sinais tenham avançado, muitas abordagens priorizam os gestos manuais e deixam de considerar marcadores faciais gramaticais, importantes para a construção de sentido na língua. Diante dessa lacuna, este trabalho teve como objetivo desenvolver e avaliar um protótipo web para reconhecimento multimodal da Libras, integrando sinais manuais e marcadores faciais capturados por webcam convencional. A metodologia envolveu OpenCV e MediaPipe para processamento dos frames e extração de landmarks, scikitlearn para os classificadores supervisionados e fusão em nível de decisão entre os canais manual e facial. No canal manual, a Regressão Logística alcançou 81,84% de acurácia na validação por tomada e 56,32% na validação por sinalizador. No canal facial, o ExtraTreesClassifier obteve 94,31% de acurácia e 92,93% de F1-score na divisão controlada por frames. A integração multimodal permitiu combinar o reconhecimento lexical dos sinais com informações gramaticais faciais, produzindo uma interpretação mais contextualizada, embora limitada pela ausência de uma base multimodal pareada e pela variabilidade individual dos sinalizadores. | pt_BR |
| Data de publicação | 2026-07 | |
| Tipo | Trabalho de Conclusão de Curso - TCC | pt_BR |
| Idioma | pt_BR | pt_BR |
| Palavras-chave | Língua Brasileira de Sinais (LIBRAS) | pt_BR |
| Palavras-chave | Reconhecimento multimodal | pt_BR |
| Palavras-chave | Gestos manuais | pt_BR |
| Palavras-chave | Marcadores faciais gramaticais | pt_BR |
| Palavras-chave | Visão computacional | pt_BR |
| Descrição | Artigo de Conclusão de Curso, apresentado para obtenção do Grau de Bacharel no curso de Ciência da Computação da Universidade do Extremo Sul Catarinense, UNESC. | pt_BR |
| Data de depósito | 2026-07-21T00:16:29Z | |
| Data de disponibilização | 2026-07-21T00:16:29Z | |
| URI | http://repositorio.unesc.net/handle/1/13012 | |
| Cobertura espacial | Universidade do Extremo Sul Catarinense | pt_BR |
| Data de criação | 2026-07 |