| Title: | Система визуального распознавания речи на основе нейронной сети трансформерного типа |
| Other Titles: | A visual speech recognition system based on a transformer-type neural network |
| Authors: | Зубрицкая, Е. И. |
| Keywords: | материалы конференций;нейронные сети;распознавание речи;системы визуального распознавания;компьютерное зрение |
| Issue Date: | 2026 |
| Publisher: | БГУИР |
| Citation: | Зубрицкая, Е. И. Система визуального распознавания речи на основе нейронной сети трансформерного типа = A visual speech recognition system based on a transformer-type neural network / Е. И. Зубрицкая // Компьютерные системы и сети : сборник материалов 62-й научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 13–17 апреля 2026 г. / Белорусский государственный университет информатики и радиоэлектроники. – Минск, 2026. – С. 284–288. |
| Abstract: | В работе представлена разработка архитектуры нейронной сети на базе трансформера для задачи визуального
распознавания речи. Был собран собственный набор данных, а также выполнена его предобработка, составлена архитектура сверточной сети для извлечения визуальных признаков. При проектировании использовались детектор ключевых точек лица на базе MediaPipe, блоки кодировщика для анализа визуальных признаков и создания их контекстного представления и декодировщика для пошаговой генерации текста на основе выходов кодировщика. В работе показаны примеры полученных данных и архитектур сети. |
| Alternative abstract: | The work presents the development of a transformer-based neural network architecture for the task of visual speech recognition.
A proprietary data set was collected, as well as its preprocessing, and the architecture of a convolutional network for extracting visual features was compiled. During the design, a MediaPipe-based face key point detector, encoder blocks for analyzing visual features and creating their contextual representation, and a decoder for step-by-step text generation based on encoder outputs were used. The work shows examples of the received data and network architectures. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/64106 |
| Appears in Collections: | Компьютерные системы и сети : материалы 62-й научной конференции аспирантов, магистрантов и студентов : сборник статей (2026)
|
