Специалисты Санкт-Петербургского института информатики и автоматизации Российской академии наук разрабатывают компьютерные системы, которые способны читать по губам и понимать язык жестов. Об этом рассказывает заведующий лабораторией речевых и многомодальных интерфейсов Алексей Карпов.
«Мы выполняем двусторонний проект с чешскими коллегами по разработке мобильного информационного робота с многомодальными интерфейсами пользователя. Так, там будет применён русскоязычный речевой интерфейс, а также будет жестовый интерфейс, чтобы робот мог взаимодействовать также с глухими людьми», — рассказывает учёный о своём проекте.
Он отмечает, что из прототипа робота хотят сделать сотрудника магазина или супермаркета, который показывает расположение товаров и двигает тележку. Специалист считает, что их разработку в будущем можно будет также использовать в банках, МФЦ и других местах для работы с клиентами. Обучать машину языку жестов необходимо, чтобы он мог понимать язык глухих людей. Второй проект направлен на распознавание речи по движению губ.
«Это объединение распознавания звучащей речи и чтения речи по губам, для этого исследования мы используем высокоскоростную видеокамеру, которая выдаёт 200 кадров в секунду, что в несколько раз больше, чем у обычных камер. Мы получаем видеоизображения, обрабатываем звук и затем объединяем данные. Это позволяет улучшить точность распознавания речи в шумных помещениях, на улице и так далее. В настоящее время система уже может распознавать данным способом сотни слов на русском языке», — говорит Карпов.