В России создали систему распознавания языка глухих

Специалисты Новосибирского государственного технического университета разработали систему, которая с помощью камер и нейронных сетей распознает жесты глухих и переводит их в текст или голос.
Разработка не имеет аналогов в мире. Об этом сообщает «Научная Россия».


Программа содержит 1006 жестов, точность распознавания движений достигает 90%. Система учитывает компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения.

«У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение», — рассказал профессор кафедры автоматизированных систем управления университета Михаил Гриф.

Сейчас ученые вуза работают над созданием и внедрение компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло потребности глухих людей. Сначала планируется разработать переводчик для русского жестового языка, а затем и для других жестовых языков мира.

Это позволит создать удобное приложение для общения с глухими людьми, а также помочь им адаптироваться в обществе и рабочих коллективах.