Система машинного чтения по губам с использованием алгоритмов глубокого обучения

Abstract

Чтение по губам — это задача распознавания текста по движению губ. Развитие компьютерной техники ведет к совершенствованию интерфейсов между человеком и компьютером. Один из важнейших способов человеческой коммуникации — речь, поэтому способность распознавания речи является важным направлением совершенствования человеко-машинных интерфейсов. Разрабатываемая модель преобразовывает последовательность видеофрагментов с переменной длиной слова в текст, используя пространственно-временные свёртки, рекуррентную нейронную сеть и функцию потерь нейросетевой временной классификации. Визуальное распознавание речи может применяться в биометрической идентификаций, распознавании речи двух и более человек, разработке улучшенных слуховых аппаратов, управлении интеллектуальными системами и т.д.