Метод оценки устойчивости нейронно-сетевых

моделей1.

Секерин А.Б. (sekerin@orel.ru ) Орловский государственный университет

Одним из наиболее широких направлений применения нейронных сетей в экономико-математическом моделировании является построение регрессионных моделей вида Y = F(Xb X2,..., Xn), где Y - исследуемый показатель (объясняемая переменная), а Xb X2,..., Xn - объясняющие переменные (регрессоры) [1]. Как правило, для построения таких моделей используются сети, обучаемые на массивах статистических данных, отражающих наблюдаемую статистику зависимости переменной Y от переменных X1, X2,., Xn (обучение с учителем). Основным преимуществом нейронных сетей по сравнению с классическими методами регрессионного анализа является принципиально более слабое требование к идентификации модели. В ходе применения классических методов регрессионного анализа в ходе идентификации модели необходимо достаточно точно указать вид искомой зависимости (например, Y = a+b1X1+ b2X2+...+ bnXn), задаваемый набором параметров, и дальнейший анализ фактически сводится к оценке значений этих параметров. Таким образом, в результате идентификации такой регрессионной модели значительно сужается класс функций Y = F(X1, X2,., Xn), в котором будет осуществляться поиск зависимости, наиболее согласующейся с данными наблюдений. Если модель идентифицирована неверно, то исследуемый класс не будет содержать искомую зависимость, т. е. последующий этап анализа будет заведомо обречен на неудачу. В отличие от методов классического регрессионного анализа, идентификация нейронно-сетевой модели состоит в выборе архитектуры нейронной сети,

1 Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, региональный проект № 03-06-96424.

количества скрытых нейронов, а также передаточных функций. В этом случае существенного сужения исследуемого класса функций не происходит, поскольку класс зависимостей, выражаемый нейронными сетями заданной архитектуры, может быть весьма широким. В частности, на основе ставшей теперь классической теоремы А.Н. Колмогорова было установлено, что любую непрерывную функцию f : [0,1]n — [0,1] можно аппроксимировать при помощи трехслойной нейронной сети, которая имеет n входных, 2n+1 скрытых и один выходной нейрон [2, с. 61]. Одним из основных искомых свойств нейронно-сетевой модели является ее обобщающая способность. Суть данного свойства определяется на интуитивном уровне и состоит оно в том, что сеть должна показывать приблизительно одинаковые результаты на массиве данных, используемых для обучения, и на массиве данных, которые отличаются от обучающих данных, но достаточно близки к ним. Антиподом к обобщающему свойству нейронной сети является ее неустойчивость, обусловленная переходом процесса обучения в режим запоминания (memorize), образно называемый также «бабушкиным воспитанием». Такая сеть демонстрирует минимальную ошибку на обучающем массиве данных, но показывает высокий уровень ошибки при малых изменениях входных данных. Математическим аналогом такого режима является подгонка статистических данных полиномиальной зависимостью при условии, что степень полинома не ограничена. Для любого набора входных векторов X1, X2, XN и выходных значений Y1, Y2, YN можно подобрать полином P(X) достаточно высокой степени, такой, что для всех j=1,2,...,N будут верны точные равенства P(Xj)= Yj (нулевое значение средней квадратической ошибки). При этом достаточно очевидно, что при незначительных изменениях массива ошибка может быть очень большой. Переход нейронной сети в режим запоминания, как правило, связан с «переопределенностью» сети, обусловленной чрезвычайно большим числом скрытых нейронов и, следовательно, большим количеством межнейронных соединений. В связи с этим возникает задача, каким образом можно проводить оценку

устойчивости нейронно-сетевой модели и ее обобщающей способности. С математической точки зрения устойчивость модели эквивалентна малым изменениям выходного параметра при малых изменениях входных параметров. Таким образом, речь идет о выполнении неравенства

\F(X) - F(X) < A\X - X. При этом оценка постоянной A может считаться оценкой уровня

устойчивости модели. Проблема заключается в следующем. Для построения

нейронно-сетевых регрессионных моделей чаще всего используется модель

многослойного персептрона с гладкими передаточными функциями, а в

качестве алгоритма обучения используется алгоритм обратного

распространения ошибки (Back Propagation). В этом случае при любых

значениях весов выходная функция нейронной сети Y = F(X1, X2,..., Xn)

является бесконечно дифференцируемой. Следовательно, для любого

компакта K в □п существует постоянная A(K), такая, что для X, X е K выполняется неравенство

\F(X) - F(X)\ < A(K)X - X,

т. е. любая нейронная с гладкими передаточными функциями сеть обладает определенным уровнем устойчивости.

В связи с этим, предлагается считать модель устойчивой, если ее уровень устойчивости сравним с аналогичным уровнем устойчивости исходных данных, использовавшихся для обучения сети. Смысл такого подхода состоит в следующем. Обучение нейронной сети проводится на основе гипотезы, что набор статистических данных (Xi,Yi), где Xi

е □п представляет собой таблицу значений искомой функции Y=F(X). Поскольку, процесс обучения сети состоит в нахождении функции, наилучшим образом аппроксимирующей искомую зависимость, то оценивающая зависимость (функция) должна обладать количественными характеристиками, близкими к соответствующим характеристикам искомой функции. В частности, уровень устойчивости оценивающей функции должен