| DC Field | Value | Language |
|---|
| dc.contributor.author | Венско, В. В. | - |
| dc.contributor.author | Якуть, А. Ю. | - |
| dc.coverage.spatial | Минск | en_US |
| dc.date.accessioned | 2026-06-04T11:01:28Z | - |
| dc.date.available | 2026-06-04T11:01:28Z | - |
| dc.date.issued | 2026 | - |
| dc.identifier.citation | Венско, В. В. Спектральный анализ динамики обучения нейронных сетей: исследование низкоранговой структуры градиентного спуска = Spectral analysis of neural network training dynamics: investigating the low-rank structure of gradient descent / В. В. Венско, А. Ю. Якуть // Компьютерные системы и сети : сборник материалов 62-й научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 13–17 апреля 2026 г. / Белорусский государственный университет информатики и радиоэлектроники. – Минск, 2026. – С. 162–167. | en_US |
| dc.identifier.uri | https://libeldoc.bsuir.by/handle/123456789/64010 | - |
| dc.description.abstract | Данная работа посвящена исследованию структуры матриц весов, возникающей в процессе обучения многослойного перцептрона. Выдвинута гипотеза об убывании эффективного ранга матриц весов в процессе обучения методом градиентного спуска. Для проверки гипотезы обучена полносвязная нейронная сеть (MLP) на наборе данных MNIST с помощью библиотеки PyTorch; на каждой эпохе вычислялся эффективный ранг матриц весов для разных функций активации. Полученные результаты подтверждают гипотезу и демонстрируют устойчивую тенденцию к снижению эффективного ранга. | en_US |
| dc.language.iso | ru | en_US |
| dc.publisher | БГУИР | en_US |
| dc.subject | материалы конференций | en_US |
| dc.subject | нейронные сети | en_US |
| dc.subject | сингулярное разложение | en_US |
| dc.subject | энтропия Шеннона | en_US |
| dc.subject | нейронаука | en_US |
| dc.subject | машинное обучение | en_US |
| dc.title | Спектральный анализ динамики обучения нейронных сетей: исследование низкоранговой структуры градиентного спуска | en_US |
| dc.title.alternative | Spectral analysis of neural network training dynamics: investigating the low-rank structure of gradient descent | en_US |
| dc.type | Article | en_US |
| local.description.annotation | This work is devoted to studying the structure of weight matrices arising during the training of a multilayer perceptron. A hypothesis is proposed that the effective rank of weight matrices decreases during training by gradient descent. To test the hypothesis, a fully connected neural network (MLP) was trained on the MNIST dataset using the PyTorch library; at each epoch, the effective rank of the weight matrices was computed for different activation functions. The obtained results confirm the hypothesis and demonstrate a steady trend toward a decrease in the effective rank. | en_US |
| Appears in Collections: | Компьютерные системы и сети : материалы 62-й научной конференции аспирантов, магистрантов и студентов : сборник статей (2026)
|
