https://libeldoc.bsuir.by/handle/123456789/64010| Title: | Спектральный анализ динамики обучения нейронных сетей: исследование низкоранговой структуры градиентного спуска |
| Other Titles: | Spectral analysis of neural network training dynamics: investigating the low-rank structure of gradient descent |
| Authors: | Венско, В. В. Якуть, А. Ю. |
| Keywords: | материалы конференций;нейронные сети;сингулярное разложение;энтропия Шеннона;нейронаука;машинное обучение |
| Issue Date: | 2026 |
| Publisher: | БГУИР |
| Citation: | Венско, В. В. Спектральный анализ динамики обучения нейронных сетей: исследование низкоранговой структуры градиентного спуска = Spectral analysis of neural network training dynamics: investigating the low-rank structure of gradient descent / В. В. Венско, А. Ю. Якуть // Компьютерные системы и сети : сборник материалов 62-й научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 13–17 апреля 2026 г. / Белорусский государственный университет информатики и радиоэлектроники. – Минск, 2026. – С. 162–167. |
| Abstract: | Данная работа посвящена исследованию структуры матриц весов, возникающей в процессе обучения многослойного перцептрона. Выдвинута гипотеза об убывании эффективного ранга матриц весов в процессе обучения методом градиентного спуска. Для проверки гипотезы обучена полносвязная нейронная сеть (MLP) на наборе данных MNIST с помощью библиотеки PyTorch; на каждой эпохе вычислялся эффективный ранг матриц весов для разных функций активации. Полученные результаты подтверждают гипотезу и демонстрируют устойчивую тенденцию к снижению эффективного ранга. |
| Alternative abstract: | This work is devoted to studying the structure of weight matrices arising during the training of a multilayer perceptron. A hypothesis is proposed that the effective rank of weight matrices decreases during training by gradient descent. To test the hypothesis, a fully connected neural network (MLP) was trained on the MNIST dataset using the PyTorch library; at each epoch, the effective rank of the weight matrices was computed for different activation functions. The obtained results confirm the hypothesis and demonstrate a steady trend toward a decrease in the effective rank. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/64010 |
| Appears in Collections: | Компьютерные системы и сети : материалы 62-й научной конференции аспирантов, магистрантов и студентов : сборник статей (2026) |
| File | Description | Size | Format | |
|---|---|---|---|---|
| Vensko_Spektralnyj.pdf | 1.31 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.