| Title: | Влияние гиперпараметров нейронной сети на её численную обусловленность |
| Other Titles: | Influence of the Neural Network Hyperparameters on its Numerical Conditioning |
| Authors: | Шолтанюк, С. В. |
| Keywords: | цифровая трансформация;временные ряды;нейронные сети;перспептроны |
| Issue Date: | 2020 |
| Publisher: | ГИАЦ |
| Citation: | Шолтанюк, С. В. Влияние гиперпараметров нейронной сети на её численную обусловленность = Influence of the Neural Network Hyperparameters on its Numerical Conditioning / Шолтанюк С. В. // Цифровая трансформация. – 2020. – № 1(10). – С. 43–50. – DOI : . https://doi.org/10.38086/2522-9613-2020-1-43-50. |
| Abstract: | В данной работе рассмотрена задача оценивания численной обусловленности многослойного персептрона, прогнозирующего временные ряды методом скользящего окна. Рассмотрена работа прогностического персептрона при различных наборах гиперпараметров, в частности, при различном количестве нейронов на разных слоях нейронной сети, а также при использовании тех или иных функций активации. Выявлены основные факторы, влияющие на обусловленность нейронной сети, а также особенности её работы при различных функциях активации. Предложены формулы для оценки чисел обусловленности отдельных компонентов прогностического персептрона и самой нейронной сети в целом. Проведён сравнительный анализ результатов обучения прогностического персептрона при различных гиперпараметрах на примере смоделированных временных рядов. Сформулированы условия, обеспечивающие лучшую устойчивость и обусловленность нейронной сети. |
| Alternative abstract: | In this paper, the task of assessment of numerical conditioning of multilayer perceptron, forecasting time series with sliding window method, has been considered. Performance of the forecasting perceptron with various hyperparameters sets, with different amount of neurons and various activation functions in particular, has been considered. Main factors, influencing on the neural net conditioning, have been revealed, as well as performance features, when using various activation functions. Formulas for assessment of condition numbers of individual components of the forecasting perceptron and of the neural network itself have been proposed. Comparative analysis of results of training the forecasting perceptron with various hyperparameters on modeled time series has been performed. Conditions, providing the best stability and conditioning for the neural network, have been formulated. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/48739 |
| Appears in Collections: | № 1(10)
|
