Reconhecimento do alfabeto da língua de sinais colombiana usando redes neurais convolucionais

Resumo

A linguagem de sinais fornece um sistema para pessoas com deficiência auditiva ou de fala se comunicarem de forma eficaz. Porém, ainda é necessário
que o restante da sociedade se aproprie desse conhecimento. Este trabalho consiste no desenho de um método de visão computacional que reconhece os signos estáticos do alfabeto da Língua de Sinais Colombiana (LSC). A metodologia consiste em um algoritmo de classificação que combina uma arquitetura de Rede Neural Convolucional (CNN) e técnicas de processamento de imagens. Nossa abordagem consegue reconhecer sinais do alfabeto que não envolvem nenhum movimento, com 79,2% de precisão. O sistema é capaz de reconhecer letras de acordo com a forma, orientação e posição dos dedos em cada sinal, usando um conjunto de dados desequilibrado.