| Title: | Нейросетевой алгоритм автоматического извлечения признаков из цифровых сигналов на базе нейросетей трансформер |
| Other Titles: | Neural network algorithm for automatic feature extraction from digital signals based on transformer neural networks |
| Authors: | Понимаш, З. А. |
| Keywords: | материалы конференций;нейронные сети;цифровые сигналы;трансформеры |
| Issue Date: | 2024 |
| Publisher: | Издательство Южного федерального университета |
| Citation: | Понимаш, З. А. Нейросетевой алгоритм автоматического извлечения признаков из цифровых сигналов на базе нейросетей трансформер = Neural network algorithm for automatic feature extraction from digital signals based on transformer neural networks / З. А. Понимаш // Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2024» : материалы Всероссийской научно-технической конференции с международным участием : в 2 т. Т. 2 / Южный федеральный университет [и др.] ; отв. ред. С. И. Клевцов. – Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2024. – С. 238–244. |
| Abstract: | В этом докладе представлен нейросетевой алгоритм для автоматического извлечения признаков из цифровых сигналов, основанный на модифицированной архитектуре трансформера. Основное отличие предложенной модели от классической архитектуры трансформер заключается в добавлении нелинейного слоя после модуля самовнимания, что позволяет улучшить выявление сложных зависимостей в данных. Признаки формируются на скрытом слое во время одновременного решения задач классификации, прогнозирования и фильтрации. Описаны структура и работа модифицированного блока трансформера. |
| Alternative abstract: | This paper presents a neural network algorithm for automatic feature extraction of digital signals based on a modified transformer architecture. The main difference between the proposed model and the classical transformer structure is the addition of a linear layer after the self-attention module, which makes it possible to improve the identification of complex dependencies in the data. Features are gradually hidden while simultaneously solving classification, prediction and filtering problems. The structure and operation of the modified transformer block are described. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/59292 |
| Appears in Collections: | Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2024»
|
