Сравнение архитектур нейронных сетей для формирования базы аллофонов в задачах распознавания речи

Abstract

данной работе представлен теоретический анализ различных архитектур нейронных сетей для формирования базы аллофонов в задачах распознавания и защиты речи. Рассмотрены такие модели, как рекуррентные нейронные сети (RNN), долгой краткосрочной памяти (LSTM), GRU и трансформеры, с акцентом на их способность учитывать контекст и долгосрочные зависимости в речевых данных. Оригинальность исследования заключается в разработке концепции системы, которая не только формирует базу аллофонов на основе речи конкретного диктора, но и использует ее для защиты конфиденциальных переговоров. Предложен гибридный подход к аннотации данных, сочетающий ручную разметку экспертов и автоматическую обработку с использованием предобученных моделей, таких как Wav2Vec. На основе анализа существующих исследований сделаны выводы о том, что использование RNN и LSTM может значительно улучшить точность распознавания аллофонов по сравнению с традиционными методами, такими как скрытые марковские модели (НММ). Практическая значимость исследования заключается в возможности применения предложенной концепции для защиты конфиденциальных переговоров путем наложения персонализированных аллофонов на речь диктора.