Рекуррентная нейронная сеть на основе LSTM-блоков с механизмом внимания для распознавания эмоций в речи

Abstract

В работе предлагается механизм мультивекторного мягкого внимания для рекуррентных нейронных сетей на основе LSTM для задачи распознавания эмоций в речи. Эксперименты проводились на наборе данных RAVDESS. Для автоматизированного подбора оптимальных гиперпараметров сети использовался метод байесовской оптимизации. Результаты экспериментов показывают, что увеличение количества векторов внимания с одного до 64 приводит к улучшению среднего значения метрики UAR на 0.9%, что является статистически значимым результатом и подтверждает целесообразность использования предложенного механизма внимания в архитектурах на основе LSTM для задачи классификации эмоций в речи.