Обыкновенные дифференциальные уравнения как математическая основа нейронных сетей непрерывного времени

Abstract

В работе рассматривается класс рекуррентных нейронных сетей с непрерывным временем – нейронные сети с текучей временной константой, в которых динамика скрытых состояний описывается системой обыкновенных дифференциальных уравнений (ОДУ). В отличие от традиционных подходов, константа времени таких сетей не является фиксированной, а изменяется в зависимости от входных данных, что обеспечивает повышенную выразительность и стабильность модели. Описываются математические основы модели, метод численного решения, сферы применения и дальнейшие перспективы ее использования. В данной работе представлены результаты экспериментального сравнения двух моделей (ДКП и ТКВ), выполненного с использованием языка программирования Python. Полученные результаты демонстрируют превосходство архитектуры ТКВ над ДКП.