Сотрудники Санкт-Петербургского федерального исследовательского центра РАН разработали приложение для смартфона, которое распознает речь и считывает ее по губам, анализируя видеосигнал с камеры гаджета. Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных ситуациях. Смартфон с этой программой можно установить на любой телефон с видеокамерой. Об этом сообщают “Известия“, ссылаясь на Минобрнауки.
Созданная командой нейросеть – это первая в мире, которая способна понимать русский язык с помощью технологии чтения по губам. Разработанное приложение предназначено для помощи людям в распознавании речи в условиях шума. Это может быть полезно водителям грузовиков, пилотам и другим профессионалам, работа которых связана с оборудованием, издающим громкие звуки.
Ученые использовали метод машинного обучения для создания этой технологии. Материалом для нейросети стали видео со звуком, где человек произносит определенные слова. Так компьютер научился понимать простые и часто используемые команды. Искусственный интеллект самостоятельно определяет, каким способом добиться наибольшей точности распознавания слов – по звуку или по изображению.
Качество работы системы уже успешно проверено в условиях реальной работы водителями грузовиков. Распознавание слов по изображению производилось с точностью 60-80%. Вместе со звуком, этот показатель вырос до 90%.
