Современные программные пакеты нейросетевого моделирования

В данном разделе будут описаны два пакета нейросетевого моделирования: STATIST1CA Neural Networks 3.0 и SPSS Neural Connection 2.0.

STATISTICS Neural Networks 3.0. STATISTICA Neural Networks 3.0 (SNN) — само­стоятельный программный продукт.

• Многослойный персептрон (MLP). Используются чаще всего. В них применяется линей­ная пост-синаптическая функция и нелинейная функция активации. Количество слоев и ней­ронов в каждом слое — неограниченно. Применение в выходном слое МЕР линейной функ­ции активации позволяет проводить экстраполяцию, то есть строить прогнозы. Сеть МЕР

можно обучать многими методами.

• Сети радиальной базисной функции (RBF). Имеют только один скрытый слой, в котором используются радиальные элементы. Обучение происходит в три этапа: размещение центров, определение отклонений и линейная оптимизация выходного слоя. Сеть RBF обучается бы­стро, не проявляет склонности к необоснованной экстраполяции.

• Сети Кохонена. Пожалуй, самый оригинальный вид сети. Они не имеют четко выражен­ного выходного слоя. Данные с входного слоя подаются на так называемую карту Кохонена, которая представляет собой, как правило, двумерную матрицу нейронов. Эта сеть использует неконтролируемое обучение, что позволяет искать зависимости в новых данных (у которых не известен заранее результирующий показатель) -— проводить разведочный анализ данных; классифицировать данные без классификатора; решать задачу близости классов.

• Линейные сети. Имеют два слоя — входной и выходной. Обучаются мгновенно.

• Байесовские сети. Вид сети, используемый только для классификации.

• Регрессионные сети. Обучаются довольно быстро, но имеют большой размер.

• Некоторые виды сетей, применимых только в отдельных задачах, но все-таки являющих­ся определенным точками в процессе развития нейросетевых технологий, например, Adaline.

Методы обучения сетей в SNN представлены следующим набором; обратное распро­странение, спуск по сопряженным градиентам, метод Levenberg-Marquardt, быстрое распро­странение, Delta-Bar-Delta, алгоритм Кохо йена, обучение RBF (несколько способов для каж­дого из трех шагов), методы обучения вероятностных, регрессионных сетей.

Применение того или иного вида обучения Связано с видом используемой сети и с удобством использования. Некоторые алгоритмы требуют установки множества параметров, и процедура обучения может затянуться надолго Современные методы обучения, например сопряженные градиенты, обеспечивают быстрое обучение без утомительной настройки.

Основное окно пакета SNN представлено на рис. 72.

ВВЕЗ

STATIST ICA Newel NeU*oιks

Fte £dt Twin Statistics В

Γ~

Рис. 72. Главное окно пакета STATISTICA Neural Networks

Пункт меню Train (рис. 73) содержит все методы обучения для всех, представленных в данном пакете сетей. Все виды обучения можно

использовать в различных вариациях, использо­вать несвойственные для сети.

Options Window j⅛e⅛>

Mul!ll⅛^,θf PerceD^rrons

Hadal Basts Functions,.;, Kjθh6nav. ⅛PtobafcfeScc√ ^⅛htvafaβd Recession,— Principal Components... A⅛omafc,ξ⅛βs⅛rw^ ^; ⅛tafejr⅛ ■

gβck Ptop⅛QβSon,.. Conjugate Gιadertte^ ∣Lρ*βr⅛e∙g^arqμardfc_i√ Quick PropsgA⅛n. Q⅝⅝⅛¾¾HD⅛⅝⅛_r,

ignore ∣ ∣Mi_w

Рис. 73. Меню обучения сетей Рис. 74. Пункт меню «Вспомогательный»

Пункт Auxiliary — Вспомогательный (рис. 74) содержит набор дополнительных функций, повышающих удобство использова­ния пакета и его возможности.

Среди них такие, как восстановление лучшей сети для данного набора данных, опре­деление условий остановки обучения, предустановка весов элементов и самая интересная — генетический отбор входных данных.

Пункт меню Statistics (рис. 75) содержит опции описания обученной сети: график ошибки обучения, ошибка на измерении, параметры классификации и регрессии, вид распределения весов элементов, частота выигрыша (количество попаданий на элемент).

Λ√V>E∏equβτw⅛>s.. '

Пункт меню Run (рис. 76) предназначен для использования

обученной сети: одно измерение (просмотр одной точки по выбору), набор данных (все данные), одно новое (отнесение нового измерения), активационные функции, временные ряды, поверхность отклика, то­пологическая карта и кластерная диаграмма.

Построение сети в SNN начинается с за­грузки данных. Затем следует этап выбора вида и топологии сети (вручную или автоматически). Ок­но автоматического дизайнера сети представлено

на рис. 77. Здесь необходимо указать типы сетей, которые будут тестироваться на лучшее соответст­вие решаемой задаче.

Рис. 77. Автоматический дизайнер сети В нижней части экрана устанавливаются параметры поиска лучшей сети и параметры

временного ряда. В зависимости от мощности компьютера, процесс выбора лучшей сети мо­

жет затянуться. Сети линейная и регрессионная обучаются мгновенно; радиальные функции

— почти мгновенно. Основное время подбора занимает многослойный персептрон, процесс оптимизации которого сводится к поиску числа элементов в скрытом слое. Чтобы сеть не разрасталась, в окне дизайнера присутствует пункт «штраф за элемент» — то есть оценка се­ти производится на основе ошибки аппроксимации, а также сложности топологии сети.

Если пользователь представляет себе

Рис. 78. Меню создания сети

желаемые параметры сети, он может строить

ее вручную. Окно ручной настройки пред­ставлено на рис. 78. Необходимо выбрать вид сети, указать параметры временного ряда (го­ризонт (Lookahead) и временное окно (Steps)

— для задач прогнозирования), количество

входных, выходных элементов и слоев.

В нижней части устанавливаются способ кодирования данных и количество элемен­тов в скрытом слое сети (если определить количество нейронов в скрытом слое затрудни­тельно, то можно нажать кнопку Advise (Совет) — количество элементов будет установлено автоматически внутренним алгоритмом, на основе количества точек измерения).

Пакет строит сеть как бы «по умолчанию», то есть устанавливается только параметры временного ряда, количество входов и выходов, а также количество элементов в слоях Далее

начинается уже тюнинг сети.

Прежде чем определить вид сети, необхо­димо указать, какие переменные будут использо­ваны в качестве входных и выходных. При щелч­ке на переменной появится pop-up меню (рис. 79), где можно выбрать тип; входная, выходная, вход- ная/выходная и игнорировать.

Рис. 79. Выбор типа переменной

Тип переменной входная/выходная использу­ется для построения прогноза временных рядов.

Следующий шаг — установка параметров пре­добработки данных. Можно осуществить; масштаби­рование, замену пропущенных значений и нормиров­ку. Окно пре- постпроцессирования представлено на

Рис. 80. Пре- постпроцессирова­ние данных

рис. 80.

Рис. 81. Редактор топологии сети

После определения топологии сети и установления всех необходимых параметров на­чинается процесс обучения сети. В пакете реализовано большое количество алгоритмов обу­чения. Некоторые алгоритмы требуют установки большого количества параметров обучения. Например, алгоритм обратного распространения и обучения Кохонена (рис. 82).

b-*∙

buck Нирван

jαe g∣ft6 § _

Рис. 82. Диалоговое окно обучения алгоритмами обратного распространения и Кохонена

Определить оптимальные параметры для алгорит ма обратного распространения пред­ставляется очень сложным, поскольку каких-либо правил для этого действия не существует.

- 100 -

С обучением Кохонена дело обстоит немного лучше. Хотя параметров тоже много, их установка подчиняется довольно стабильным правилам.

Наряду с алгоритмами со сложной установкой па­раметров, в пакете реализованы современные алгоритмы

(спуск по сопряженным градиентам, обучение Levenberg- Marquardt). Для них не надо устанавливать каких бы то ни было параметров (рис. 83), кроме количества эпох обуче­ния и необходимости кросс-верификации.

Визуализация процесса и

Рис. 83. Обучение сети методом спуска по градиенту

Training Error Graph

результатов обучения сети осу- f^^βbβ, ществляется с помощью графика ошибки обучения (рис. 84). На графике представляется ошибка _; по итерациям и конечная ошибка.

И да

⅛* C⅛ •' ■. 1«ю

Рис. 84. График ошибки обучения

Рис. 85. Статистика регрессии

Далее начинается этап практического ]

использования сети, На рис. 86 представлено окно ji_n, прогона одного измерения через обученную сеть.

Здесь отражены порядковый номер измерения, его < shown_: }vβ∩at*w ■

цифровые значения, значение ошибки и расшифровка

по типам данных (выходная, целевая переменные, ошибка).

Следующий инструмент — прогон всего набора| данных (рис. 87). Результаты этой процедуры могли

Нмп Cβtβ ⅛et

RMSε∣m TttH Activations 'Codaboot.

τ∙*

Oιφttratawπ ∣ Variables Γ⅝n j

92„ 89.22^ 80.16^

82.3

~_2£

функций и пороговые значения.

Рис. 87. Прогон набора данных

Для задач прогнозирования особый интерес прсд-||О!Зш5Е93шЕЯННННВНОЁ √f⅜∣Λ I . ∙.'⅛''⅛3⅛o^

ставляет пункт прогона нового значения (рис. 88). Вт;"""¹ ” .. ¹j^u,i . .∙

⅛N0n00MS-1 |нОЯСЮМ5-1 l⅛0RQ0M

верхней части окна вводятся новые входные значения, a=}⅝** [ ⁸²⁵⁶ «эо4 в.

в нижней части (после запуска расчета) выводится соот- і

г

ветствующий отклик, полученный сетью. В задачах клас-:< снфикации здесь показывается отнесение к тому или

иному классу или определение нового.

Рис. 88. Прогон нового измерения

Иногда интерес может пред- |]

ставить анализ значении активацион- ?

ных функций сети, показываемых в пункте меню Network Activation (рис.

89). Значения даются для каждого из­мерения по каждому слою сети. _ _r,_n . ,

^{r j} Рис. 89. Активационные функции

По виду графика функций активации мож-1

Nvtwoih, Λc⅛vatκun*

∖ fi'***^to".(? И.,и*• (¹ .._ Ш⅛**num.⅛fo⅞l

lime Serιe⅞ PpΛ√schfirt

S3

но определить, например, вид сезонности — адди-

тивная или мультипликативная

Наконец, в пакете SNN основным инстру­ментом получения прогнозов является окно про­екции временного ряда (рис. 90).

IjangBt

EΞ!

Рис. 90. Окно проекции временного ряда

В нем указывается стартовый номер измерения, длина проекции и порядковый номер переменной. Перенос данных из этого окно (как и из любого другого) осуществляется через кнопку copy&paste, вынесенную на первый план.

К недостаткам пакета STATIST1CA Neural Networks можно отнести следующие:

-— имеется неудобство (с точки зрения пользователя) в открытии файлов. В пакете реализо­вана американская система десятичных разделителей, которая несовместима с российской.

■— в процессе автоматического построения сети, пакетом не выдается информация о пара­метрах уже обученных сетей, кроме того, отсутствует выбор из нескольких лучших сетей.

— не очень удобен этап использования обученной сети в части доступа к цифровым резуль­татам прогноза (необходимо переносить их в какой-нибудь офисный пакет). Прогноз по мно­гофакторной модели может быть построен только на одного измерение одновременно.

— наконец, пакет SNN подвержен внезапным сбоям (правда, в меньшей степени, чем другие пакеты). Видимо, это связано со способом решения задач — пакет «задумывается», посколь­ку он работает в области, гордо называемой «искусственный интеллекта.

В целом, примерно из 20 нейросетевых пакетов, с которыми пришлось иметь дело, пакет STATISTICA Neural Networks 3.0 (и 4.0) является лучшим.

SPSS Neural Connection 2.0. Пакет SPSS Neural Connection 2.0 выпускается одним из самых известных производителей ПО статистического анализа — SPSS.

Пакет представляет собой объектное проекти­рование нейронных сетей. Основное окно пакета пред­ставлено на рис. 91.

,91. Главное окно пакета Neural

Как видно из рисунка, нейросетевая модель строится в виде пиктограмм (вся рабочая палитра пик­тограмм инструментов построения модели находится в

правой части экрана), соединяемых стрелками.

Connection

Имеются входные объекты, объекты предобработки данных, объекты сетевых струк­тур и вывода результатов (текстовых и графических). Пакет поддерживает четыре сети: мно­гослойный персептрон, радиальный базисные функции, байесовские сети и сети Кохонена. Элементы модели перетаскиваются из палитры на рабочий

Рис. 92. Pop-up меню уста­новки параметров элементов

стол. Все дальнейшие действия с элементами начинаются нажати­ем на сам элемент. При этом появляется pop-up меню (рис. 92), с помощью которого устанавливаются все параметры элемента (со­единить, отсоединить, удалить, статус, диалог установки).

Стандартная модель для задач

Test Datt-a Gr*ph

Tτ-n-i-∣τtι⅝