ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ ГРАНИЦЫ РЕАЛИЗАЦИЙ ДИНАМИЧЕСКИХ СИСТЕМ
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
УДК 519.254, 004.9
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ ГРАНИЦЫ РЕАЛИЗАЦИЙ ДИНАМИЧЕСКИХ
СИСТЕМ
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
Предлагаются два метода прогнозирования сложного сигнала – на основе многослойного персептрона и метода опорных векторов (SVM), реализованные в программном комплексе. Обучающее множество для предиктора определяется на основе выделения границы реализаций динамических систем в сигнале. Ключевые слова: прогнозирование, обнаружение разладки, фрактальность, динамические системы, нейронные сети, SVM.
Введение
Сложные цифровые сигналы часто встречаются в деятельности человека, примерами могут служить медицинские показания, сигналы с датчиков на производстве, финансовые и экономические показатели. Сигнал представляется временным рядом значений, наблюдаемых в последовательные моменты времени: x(t) ≡ {x1, x2,…,xN}, где
t ≡ { t1,t2,..., tN }, xi = x(ti ), i = 1... N , где N – число отсчетов в сигнале. Атрибутами
сложного сигнала являются следующие характеристики (одна или несколько): нестационарность, непериодичность, функция распределения, наличие сингулярностей, фрактальность, стохастичность и хаотичность. Для решения задачи прогнозирования таких сигналов был предложен подход, реализованный в программном комплексе.
Реализация подхода включает: 1. выделение «стабильного» участка в конце временного ряда, на котором происходит
обучение предиктора, учитывающего последнюю динамику исследуемого процесса; 2. выполнение прогнозирования исследуемого временного ряда с использованием ме-
тодов на основе достижения порога изменения сигнала и SVM. Использование двух независимых предикторов позволяет повысить стабильность
прогнозирования и снизить ошибку.
Метод выделения границ реализации динамической системы
Для выделения границ реализации динамической системы предложена структурная модель, согласно которой сложный сигнал рассматривается в виде последовательности реализаций различных динамических систем (ДС), т.е.
x(t + 1) = F1(x(t), x(t −1),...,x(t − k1)), t = 0, 1,..., r1,
x(t + 1) = F2 (x(t), x(t −1),...,x(t − k2 )), t = r1 +1,..., r2 ,
...
x(t + 1) = Fn (x(t), x(t −1),...,x(t − kn )), t = rn ,..., N −1, где x(t) – d -мерный вектор состояния системы в момент времени; t , n – число точек
смены динамики; Fi – вектор-функции, определяющие следующее состояние системы
в различные периоды времени и имеющие ki последних значений x(t) в качестве параметров, i = 1...n ; ri – точки смены динамики сигнала; N – число наблюдений сигнала.
Чтобы анализировать и использовать для обучения предиктора последний «стабильный» по некоторой мере фрагмент временного ряда сигнала, необходимо разделить сигнал на участки квазистационарности. Такая задача известна как задача обнаружения «разладки», т.е. изменения любых вероятностных свойств сигнала [1]. Однако для сложных сигналов такое определение может давать неточную границу истинной смены динамики сигна-
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
49
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ...
ла. Поэтому предлагается основываться на свойстве, которым характеризуется сложный сигнал и для которого можно получить адекватные численные оценки, используя только наблюдаемый временной ряд. Как показали исследования, таким свойством является фрактальность, точнее, локальная фрактальная размерность – показатель фрактальной размерности для ограниченной области временного ряда сигнала.
В качестве оценки локальной фрактальной размерности предлагается использовать индекс фрактальности [2]. Обнаружение смены динамики сигнала происходит по изменению локальной фрактальной размерности в статистическом смысле, т.е. по наличию разладки в ряде. Это позволяет определять смену динамики сигнала как изменение степени однородности его фрактальной размерности.
Для обнаружения изменения вероятностных свойств производного сигнала использован апостериорный непараметрический алгоритм кумулятивных сумм (АКС) [3]. В результате проведенного исследования выявлено, что он эффективней по скорости и точности обнаружения для сложных стохастических сигналов, чем общий случай алгоритма Бродского–Дарховского [4] и метод на основе принципа минимума информационного рассогласования [5] (точнее в среднем на 5–8%).
Метод обнаружения границы реализаций динамических систем заключается в следующем. По исходному сигналу методом скользящего окна строится производный сигнал оценки локальной фрактальной размерности – индекса фрактальности. В производном и в исходном сигнале методом АКС находятся точки разладки. Положения точек сопоставляются, и берется среднее значение. Это и будет границей между реализациями различных ДС. Для сложных зашумленных стохастических сигналов такой метод обнаружения дает более точную оценку момента разладки (смены динамики), чем обнаружение по исходному ряду методом АКС, в среднем на 9–10%.
Общая последовательность прогнозирования сложного сигнала представляется следующим образом: получение сигнала, получение производного от исходного сигнала ряда локальной фрактальной размерности, поиск точки разладки в исходном сигнале и в ряде локальной фрактальной размерности – получение границы между реализациями различных ДС, выделение для обучения предиктора последнего фрагмента сигнала до найденной границы (фрагмент последней сформировавшейся квазистабильной динамики сигнала), построение комбинированного прогноза, оценка его достоверности. Указанная итерация может повторяться многократно для различных масштабов представления сигнала, чтобы получить многошаговый прогноз. Для прогнозирования сложных сигналов предложены два метода, которые можно объединять в один на основе комитета.
Прогнозирование на основе метода достижения порога изменения
В основу первого метода положено преобразование исходного сигнала в ряд времени достижения порога изменения p [6]. Оно позволяет, во-первых, агрегировать сигнал без потери существенной информации о нем, во-вторых, подойти к задаче прогнозирования с другой точки зрения, в частности, прогнозировать не следующее значение сигнала, а время, через которое изменение сигнала превысит известный порог. Прогнозирование осуществляется двухслойным персептроном. Следовательно, исходный сигнал преобразуется следующим образом:
x (t ) ≡ {x1, x2,..., xN } → x ' ≡ {x '1, x '2,..., x 'N '},
xi = x(ti ), i = 1....N , x ' j = x(t ' j ), j = 1....N ',
(x 'i − x 'i−1) / x 'i−1 ≥ p, p > 0, i = 2, 3,..., N ',
τ = {τ1, τ2,..., τN '−1}, τi = t 'i+1− t 'i , i = 1....N '−1,
50 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 2(66)
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
где N – число отсчетов в исходном сигнале, x' – преобразованный сигнал, где оставлены только те значения, относительная разница между которыми превышает порог p ,
N ' – число отсчетов в преобразованном сигнале, τ – ряд времени достижения заданного порога изменения, где каждое значение означает время, которое потребовалось сигналу для того, чтобы превысить порог изменения p . Кроме того, такой метод позволя-
ет выполнять комбинированное прогнозирование, которое включает в себя: 1) оценку по x ' следующего значения x 'N '+1 ;
2) оценку по τ следующего значения τN '+1 ;
3) сравнение sign(τN '+1) и sign(x 'N '+1− x 'N ') .
Сопоставление результатов, выполненных по рядам x ' и τ, позволяет увеличить степень надежности прогноза, так как совпадение знаков изменения прогнозируемых величин говорит о высокой степени его достоверности.
Прогнозирование с использованием метода опорных векторов (SVM)
В качестве второго подхода, реализованного в разработанном программном комплексе, используется метод опорных векторов (SVM) [7]. Особенностью предложенной реализации является оригинальный метод обучения и подбора входных параметров SVM-модели, который базируется на поиске «похожих» паттернов в исходном временном ряду. Это позволяет учитывать текущее состояние исследуемой динамической системы. Недостатком известных методов обучения SVM является то, что область, используемая для тестирования модели, выбирается случайным образом или в конце временного ряда и не учитывает текущее состояние системы. Для решения этой проблемы предложен оригинальный метод обучения и подбора входных параметров SVMмодели.
В предложенном методе выделяются два этапа. Первый этап дает «грубую» оценку близ оптимальных значений подбора входных параметров путем разбиения исходной выборки на n частей и независимого обучения SVM-моделей при различных значениях оптимизируемого параметра (например, C ). При этом остальные входные параметры остаются постоянными. Для каждого участка высчитывается нормализованная среднеквадратическая ошибка E и сложность модели C M . Далее из полученного набора альтернативных SVM-моделей выбирается m наилучших с помощью критерия
эффективности Eff M , позволяющего сравнивать альтернативные модели в зависимости от ошибок, которые они дают на тестовых данных, и их сложностью. Одной из особенностей данного метода является то, что он может быть легко реализован в алгоритмах параллельной обработки данных, потому что обучение осуществляется на различных участках с разными значениями входных параметров.
Второй этап связан с поиском такой SVM-модели, которая отражала бы не только глобальную динамику процесса, но и учитывала бы и локальную. Для этого тестирование модели происходит на тех участках временного ряда, которые имеют схожую динамику с текущим состоянием. В качестве оценки схожести используется оценка косинуса угла между двумя векторами через их скалярное произведение. Чем ближе значение стремится к единице, тем более схожими считаются вектора. Результирующей моделью выбирается та, у которой нормализованная среднеквадратическая ошибка минимальна как на выборке, участвовавшей в обучении, так и на похожих участках с учетом ее сложности.
В качестве проверки эффективности модели предложен следующий критерий EffM . Пусть имеется две альтернативные модели M1 и M 2 . Тогда Eff M1 ≥ Eff M2 , если
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
51
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ...
E1 CM2
−
E2 CM1
≤0,
где
CM
– сложность модели, рассчитанная таким образом, что
CM
=
N SV N
( N SV
– количество опорных векторов в SVM-модели, N
– общее количест-
во векторов при обучении); E – нормализованная среднеквадратическая ошибка, рас-
считанная по формуле
E
=
1 σ2n
n
∑(x
i=1
−
x′)2
(
σ2
–
несмещенная дисперсия реальных зна-
чений временного ряда x , x′ – прогнозные значения, n – количество тестовых данных,
на которых проверяется модель).
Результаты вычислительных экспериментов
Результаты прогнозирования времени достижения порога изменения сигнала представлены в таблице.
№ Ряд p(%) s Eср(%) Знак
1a Авторегрессия с разладкой (x0 = 0,02):
1b
1. xi = 0,9*xi-1+0,1+ε*1,5 (3000 отсчетов)
100 2
1c 2. xi = 0,8* xi-+0,105+εε*1,45 (2000 отсчетов)
68,5 10,1 9,8
+ + +
2a
2b
Посещаемость веб-сервиса – возвраты пользователей с 21.05.08 по 06.06.09 (суточные значения)
2с
20
91,54 5 11,32
12,1
+ + +
3a
3b
Курс акции «Лукойл» с 01.01.09 по 18.06.09 (часовые значения)
3с
1
10,25 3 74,58
51,23
++ +
Таблица. Результаты прогнозирования времени достижения порога изменения сигнала
В качестве предиктора использовалась нейронная сеть типа «многослойный персептрон» структуры 3–2–1 для скрытых слоев и линией задержки на входе на 10. В качестве входных переменных используются время достижения заданного порога изменения и значение сигнала в данной точке. Проводилось 3 подхода на каждый прогноз, за результат прогноза бралось среднее предсказанное значение.
При использовании метода опорных векторов было выбрано гауссовское ядро. В качестве оптимизируемых параметров использованы С и γ, которые подбирались с учетом предложенного выше метода.
В таблице приняты следующие обозначения: s – на сколько отсчетов вперед получился прогноз; Eср – средняя относительная ошибка прогноза; Знак – верно или нет определен знак изменения сигнала (+ верно, – нет, +– часть прогнозов дала неверный знак); ε – случайное число от –1 до 1 с равномерным распределением.
Авторегрессия с разладкой есть двухкомпонентый сигнал, состоящий из двух «склеенных» фрагментов. Каждый фрагмент задается определенным отображением (формулы указаны в таблице). Прогноз под индексом «a» строился на основе всего дос-
52 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 2(66)
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
тупного множества нейронной сетью, под «b» – с учетом обнаруженной разладки во фрактальной стабильности сигнала нейронной сетью, под «с» – с учетом обнаруженной разладки во фрактальной стабильности сигнала методом опорных векторов.
Выводы
Основным выводом является то, что использование для обучения предиктора последнего фрагмента сигнала с квазистабильной локальной фрактальной размерностью вместо эмпирического выбора обучающего множества дает более точный или надежный прогноз. Программный комплекс, реализующий предложенные методы, может найти свое применение в медицине и биологии, контроле технологических процессов и финансово-экономической деятельности, энергетике и приборостроении – везде, где ведется работа со сложными эволюционными сигналами.
В дальнейшем планируется исследование объединения двух аппаратов прогнозирования, нейронных сетей и метода опорных векторов, в качестве единого предиктора. Есть основания предполагать, что использование нескольких независимых предикторов позволит обеспечить более качественный прогноз (по точности и надежности).
Литература
1. Darkhovski B.S. Nonparametric methods in change-point problems a general approach and some concrete algorithms // IMS Lecture Notes – Monograph Series, Volume 23, 1994. [Электронный ресурс]. – Режим доступа: http://projecteuclid.org/DPubS/Repository/1.0/Disseminate?view=body&id=pdf_1&handl e=euclid.lnms/1215463117 (дата обращения 22.10.09).
2. Старченко Н. В. Индекс фрактальности и локальный анализ хаотических временных рядов. Дис. ... канд. физ.-мат. наук: 05.13.18 : защищена 15.02.06. – М. 2005. – С. 34– 64. [Электронный ресурс]. – Режим доступа: http://www.mirkin.ru/_docs/kon_diser/diserstarchenko.pdf (дата обращения 26.10.09).
3. Lajos Horvath. Ratio tests for change point detection // IMS Collections, Beyond Parametrics in Interdisciplinary Research: Festschrift in Honor of Professor Pranab K. Sen. – Institute of Mathematical Statistics. – 2008. – Vol. 1. – Р. 293–304.
4. Бродский Б.Е., Дарховский Б.С. Асимптотический анализ некоторых оценок в апостериорной задаче о разладке // Теория вероятностей и ее применения. – 1990. – Т. 35. – № 3. – С. 551–557.
5. Акатьев Д.Ю., Савченко В.В. Обнаружение разладки случайного процесса на основе принципа минимума информационного рассогласования // Автометрия. – 2005. – Т. 41. – № 2. – С. 68–74.
6. Егошин А.В. Анализ времени достижения сигналом порога изменения в задаче нейросетевого прогнозирования временных рядов // Информационно-вычислительные технологии и их приложения: сборник статей VI Международной научнотехнической конференции. – Пенза: РИО ПГСХА, 2007. – С. 74–76.
7. Burges C.J.C. A tutorial on Support Vector Machines for classification// Data Mining and Knowledge Discovery. – 1998. – № 2. – Р. 121–167.
Сидоркина Ирина Геннадьевна
Егошин Алексей Валерьевич Шумков Дмитрий Сергеевич
– Марийский государственный технический университет, доктор технических наук, профессор, декан, dekan_fivt@mail.ru
– Марийский государственный технический университет, аспирант, g12@bk.ru
– Марийский государственный технический университет, аспирант, dimavova@mail.ru
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
53
УДК 519.254, 004.9
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ ГРАНИЦЫ РЕАЛИЗАЦИЙ ДИНАМИЧЕСКИХ
СИСТЕМ
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
Предлагаются два метода прогнозирования сложного сигнала – на основе многослойного персептрона и метода опорных векторов (SVM), реализованные в программном комплексе. Обучающее множество для предиктора определяется на основе выделения границы реализаций динамических систем в сигнале. Ключевые слова: прогнозирование, обнаружение разладки, фрактальность, динамические системы, нейронные сети, SVM.
Введение
Сложные цифровые сигналы часто встречаются в деятельности человека, примерами могут служить медицинские показания, сигналы с датчиков на производстве, финансовые и экономические показатели. Сигнал представляется временным рядом значений, наблюдаемых в последовательные моменты времени: x(t) ≡ {x1, x2,…,xN}, где
t ≡ { t1,t2,..., tN }, xi = x(ti ), i = 1... N , где N – число отсчетов в сигнале. Атрибутами
сложного сигнала являются следующие характеристики (одна или несколько): нестационарность, непериодичность, функция распределения, наличие сингулярностей, фрактальность, стохастичность и хаотичность. Для решения задачи прогнозирования таких сигналов был предложен подход, реализованный в программном комплексе.
Реализация подхода включает: 1. выделение «стабильного» участка в конце временного ряда, на котором происходит
обучение предиктора, учитывающего последнюю динамику исследуемого процесса; 2. выполнение прогнозирования исследуемого временного ряда с использованием ме-
тодов на основе достижения порога изменения сигнала и SVM. Использование двух независимых предикторов позволяет повысить стабильность
прогнозирования и снизить ошибку.
Метод выделения границ реализации динамической системы
Для выделения границ реализации динамической системы предложена структурная модель, согласно которой сложный сигнал рассматривается в виде последовательности реализаций различных динамических систем (ДС), т.е.
x(t + 1) = F1(x(t), x(t −1),...,x(t − k1)), t = 0, 1,..., r1,
x(t + 1) = F2 (x(t), x(t −1),...,x(t − k2 )), t = r1 +1,..., r2 ,
...
x(t + 1) = Fn (x(t), x(t −1),...,x(t − kn )), t = rn ,..., N −1, где x(t) – d -мерный вектор состояния системы в момент времени; t , n – число точек
смены динамики; Fi – вектор-функции, определяющие следующее состояние системы
в различные периоды времени и имеющие ki последних значений x(t) в качестве параметров, i = 1...n ; ri – точки смены динамики сигнала; N – число наблюдений сигнала.
Чтобы анализировать и использовать для обучения предиктора последний «стабильный» по некоторой мере фрагмент временного ряда сигнала, необходимо разделить сигнал на участки квазистационарности. Такая задача известна как задача обнаружения «разладки», т.е. изменения любых вероятностных свойств сигнала [1]. Однако для сложных сигналов такое определение может давать неточную границу истинной смены динамики сигна-
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
49
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ...
ла. Поэтому предлагается основываться на свойстве, которым характеризуется сложный сигнал и для которого можно получить адекватные численные оценки, используя только наблюдаемый временной ряд. Как показали исследования, таким свойством является фрактальность, точнее, локальная фрактальная размерность – показатель фрактальной размерности для ограниченной области временного ряда сигнала.
В качестве оценки локальной фрактальной размерности предлагается использовать индекс фрактальности [2]. Обнаружение смены динамики сигнала происходит по изменению локальной фрактальной размерности в статистическом смысле, т.е. по наличию разладки в ряде. Это позволяет определять смену динамики сигнала как изменение степени однородности его фрактальной размерности.
Для обнаружения изменения вероятностных свойств производного сигнала использован апостериорный непараметрический алгоритм кумулятивных сумм (АКС) [3]. В результате проведенного исследования выявлено, что он эффективней по скорости и точности обнаружения для сложных стохастических сигналов, чем общий случай алгоритма Бродского–Дарховского [4] и метод на основе принципа минимума информационного рассогласования [5] (точнее в среднем на 5–8%).
Метод обнаружения границы реализаций динамических систем заключается в следующем. По исходному сигналу методом скользящего окна строится производный сигнал оценки локальной фрактальной размерности – индекса фрактальности. В производном и в исходном сигнале методом АКС находятся точки разладки. Положения точек сопоставляются, и берется среднее значение. Это и будет границей между реализациями различных ДС. Для сложных зашумленных стохастических сигналов такой метод обнаружения дает более точную оценку момента разладки (смены динамики), чем обнаружение по исходному ряду методом АКС, в среднем на 9–10%.
Общая последовательность прогнозирования сложного сигнала представляется следующим образом: получение сигнала, получение производного от исходного сигнала ряда локальной фрактальной размерности, поиск точки разладки в исходном сигнале и в ряде локальной фрактальной размерности – получение границы между реализациями различных ДС, выделение для обучения предиктора последнего фрагмента сигнала до найденной границы (фрагмент последней сформировавшейся квазистабильной динамики сигнала), построение комбинированного прогноза, оценка его достоверности. Указанная итерация может повторяться многократно для различных масштабов представления сигнала, чтобы получить многошаговый прогноз. Для прогнозирования сложных сигналов предложены два метода, которые можно объединять в один на основе комитета.
Прогнозирование на основе метода достижения порога изменения
В основу первого метода положено преобразование исходного сигнала в ряд времени достижения порога изменения p [6]. Оно позволяет, во-первых, агрегировать сигнал без потери существенной информации о нем, во-вторых, подойти к задаче прогнозирования с другой точки зрения, в частности, прогнозировать не следующее значение сигнала, а время, через которое изменение сигнала превысит известный порог. Прогнозирование осуществляется двухслойным персептроном. Следовательно, исходный сигнал преобразуется следующим образом:
x (t ) ≡ {x1, x2,..., xN } → x ' ≡ {x '1, x '2,..., x 'N '},
xi = x(ti ), i = 1....N , x ' j = x(t ' j ), j = 1....N ',
(x 'i − x 'i−1) / x 'i−1 ≥ p, p > 0, i = 2, 3,..., N ',
τ = {τ1, τ2,..., τN '−1}, τi = t 'i+1− t 'i , i = 1....N '−1,
50 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 2(66)
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
где N – число отсчетов в исходном сигнале, x' – преобразованный сигнал, где оставлены только те значения, относительная разница между которыми превышает порог p ,
N ' – число отсчетов в преобразованном сигнале, τ – ряд времени достижения заданного порога изменения, где каждое значение означает время, которое потребовалось сигналу для того, чтобы превысить порог изменения p . Кроме того, такой метод позволя-
ет выполнять комбинированное прогнозирование, которое включает в себя: 1) оценку по x ' следующего значения x 'N '+1 ;
2) оценку по τ следующего значения τN '+1 ;
3) сравнение sign(τN '+1) и sign(x 'N '+1− x 'N ') .
Сопоставление результатов, выполненных по рядам x ' и τ, позволяет увеличить степень надежности прогноза, так как совпадение знаков изменения прогнозируемых величин говорит о высокой степени его достоверности.
Прогнозирование с использованием метода опорных векторов (SVM)
В качестве второго подхода, реализованного в разработанном программном комплексе, используется метод опорных векторов (SVM) [7]. Особенностью предложенной реализации является оригинальный метод обучения и подбора входных параметров SVM-модели, который базируется на поиске «похожих» паттернов в исходном временном ряду. Это позволяет учитывать текущее состояние исследуемой динамической системы. Недостатком известных методов обучения SVM является то, что область, используемая для тестирования модели, выбирается случайным образом или в конце временного ряда и не учитывает текущее состояние системы. Для решения этой проблемы предложен оригинальный метод обучения и подбора входных параметров SVMмодели.
В предложенном методе выделяются два этапа. Первый этап дает «грубую» оценку близ оптимальных значений подбора входных параметров путем разбиения исходной выборки на n частей и независимого обучения SVM-моделей при различных значениях оптимизируемого параметра (например, C ). При этом остальные входные параметры остаются постоянными. Для каждого участка высчитывается нормализованная среднеквадратическая ошибка E и сложность модели C M . Далее из полученного набора альтернативных SVM-моделей выбирается m наилучших с помощью критерия
эффективности Eff M , позволяющего сравнивать альтернативные модели в зависимости от ошибок, которые они дают на тестовых данных, и их сложностью. Одной из особенностей данного метода является то, что он может быть легко реализован в алгоритмах параллельной обработки данных, потому что обучение осуществляется на различных участках с разными значениями входных параметров.
Второй этап связан с поиском такой SVM-модели, которая отражала бы не только глобальную динамику процесса, но и учитывала бы и локальную. Для этого тестирование модели происходит на тех участках временного ряда, которые имеют схожую динамику с текущим состоянием. В качестве оценки схожести используется оценка косинуса угла между двумя векторами через их скалярное произведение. Чем ближе значение стремится к единице, тем более схожими считаются вектора. Результирующей моделью выбирается та, у которой нормализованная среднеквадратическая ошибка минимальна как на выборке, участвовавшей в обучении, так и на похожих участках с учетом ее сложности.
В качестве проверки эффективности модели предложен следующий критерий EffM . Пусть имеется две альтернативные модели M1 и M 2 . Тогда Eff M1 ≥ Eff M2 , если
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
51
ПРОГНОЗИРОВАНИЕ СЛОЖНЫХ СИГНАЛОВ НА ОСНОВЕ ВЫДЕЛЕНИЯ...
E1 CM2
−
E2 CM1
≤0,
где
CM
– сложность модели, рассчитанная таким образом, что
CM
=
N SV N
( N SV
– количество опорных векторов в SVM-модели, N
– общее количест-
во векторов при обучении); E – нормализованная среднеквадратическая ошибка, рас-
считанная по формуле
E
=
1 σ2n
n
∑(x
i=1
−
x′)2
(
σ2
–
несмещенная дисперсия реальных зна-
чений временного ряда x , x′ – прогнозные значения, n – количество тестовых данных,
на которых проверяется модель).
Результаты вычислительных экспериментов
Результаты прогнозирования времени достижения порога изменения сигнала представлены в таблице.
№ Ряд p(%) s Eср(%) Знак
1a Авторегрессия с разладкой (x0 = 0,02):
1b
1. xi = 0,9*xi-1+0,1+ε*1,5 (3000 отсчетов)
100 2
1c 2. xi = 0,8* xi-+0,105+εε*1,45 (2000 отсчетов)
68,5 10,1 9,8
+ + +
2a
2b
Посещаемость веб-сервиса – возвраты пользователей с 21.05.08 по 06.06.09 (суточные значения)
2с
20
91,54 5 11,32
12,1
+ + +
3a
3b
Курс акции «Лукойл» с 01.01.09 по 18.06.09 (часовые значения)
3с
1
10,25 3 74,58
51,23
++ +
Таблица. Результаты прогнозирования времени достижения порога изменения сигнала
В качестве предиктора использовалась нейронная сеть типа «многослойный персептрон» структуры 3–2–1 для скрытых слоев и линией задержки на входе на 10. В качестве входных переменных используются время достижения заданного порога изменения и значение сигнала в данной точке. Проводилось 3 подхода на каждый прогноз, за результат прогноза бралось среднее предсказанное значение.
При использовании метода опорных векторов было выбрано гауссовское ядро. В качестве оптимизируемых параметров использованы С и γ, которые подбирались с учетом предложенного выше метода.
В таблице приняты следующие обозначения: s – на сколько отсчетов вперед получился прогноз; Eср – средняя относительная ошибка прогноза; Знак – верно или нет определен знак изменения сигнала (+ верно, – нет, +– часть прогнозов дала неверный знак); ε – случайное число от –1 до 1 с равномерным распределением.
Авторегрессия с разладкой есть двухкомпонентый сигнал, состоящий из двух «склеенных» фрагментов. Каждый фрагмент задается определенным отображением (формулы указаны в таблице). Прогноз под индексом «a» строился на основе всего дос-
52 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 2(66)
И.Г. Сидоркина, А.В. Егошин, Д.С. Шумков, П.А.Кудрин
тупного множества нейронной сетью, под «b» – с учетом обнаруженной разладки во фрактальной стабильности сигнала нейронной сетью, под «с» – с учетом обнаруженной разладки во фрактальной стабильности сигнала методом опорных векторов.
Выводы
Основным выводом является то, что использование для обучения предиктора последнего фрагмента сигнала с квазистабильной локальной фрактальной размерностью вместо эмпирического выбора обучающего множества дает более точный или надежный прогноз. Программный комплекс, реализующий предложенные методы, может найти свое применение в медицине и биологии, контроле технологических процессов и финансово-экономической деятельности, энергетике и приборостроении – везде, где ведется работа со сложными эволюционными сигналами.
В дальнейшем планируется исследование объединения двух аппаратов прогнозирования, нейронных сетей и метода опорных векторов, в качестве единого предиктора. Есть основания предполагать, что использование нескольких независимых предикторов позволит обеспечить более качественный прогноз (по точности и надежности).
Литература
1. Darkhovski B.S. Nonparametric methods in change-point problems a general approach and some concrete algorithms // IMS Lecture Notes – Monograph Series, Volume 23, 1994. [Электронный ресурс]. – Режим доступа: http://projecteuclid.org/DPubS/Repository/1.0/Disseminate?view=body&id=pdf_1&handl e=euclid.lnms/1215463117 (дата обращения 22.10.09).
2. Старченко Н. В. Индекс фрактальности и локальный анализ хаотических временных рядов. Дис. ... канд. физ.-мат. наук: 05.13.18 : защищена 15.02.06. – М. 2005. – С. 34– 64. [Электронный ресурс]. – Режим доступа: http://www.mirkin.ru/_docs/kon_diser/diserstarchenko.pdf (дата обращения 26.10.09).
3. Lajos Horvath. Ratio tests for change point detection // IMS Collections, Beyond Parametrics in Interdisciplinary Research: Festschrift in Honor of Professor Pranab K. Sen. – Institute of Mathematical Statistics. – 2008. – Vol. 1. – Р. 293–304.
4. Бродский Б.Е., Дарховский Б.С. Асимптотический анализ некоторых оценок в апостериорной задаче о разладке // Теория вероятностей и ее применения. – 1990. – Т. 35. – № 3. – С. 551–557.
5. Акатьев Д.Ю., Савченко В.В. Обнаружение разладки случайного процесса на основе принципа минимума информационного рассогласования // Автометрия. – 2005. – Т. 41. – № 2. – С. 68–74.
6. Егошин А.В. Анализ времени достижения сигналом порога изменения в задаче нейросетевого прогнозирования временных рядов // Информационно-вычислительные технологии и их приложения: сборник статей VI Международной научнотехнической конференции. – Пенза: РИО ПГСХА, 2007. – С. 74–76.
7. Burges C.J.C. A tutorial on Support Vector Machines for classification// Data Mining and Knowledge Discovery. – 1998. – № 2. – Р. 121–167.
Сидоркина Ирина Геннадьевна
Егошин Алексей Валерьевич Шумков Дмитрий Сергеевич
– Марийский государственный технический университет, доктор технических наук, профессор, декан, dekan_fivt@mail.ru
– Марийский государственный технический университет, аспирант, g12@bk.ru
– Марийский государственный технический университет, аспирант, dimavova@mail.ru
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 2(66)
53