СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ СЕТЬЮ СО СВЯЗЯМИ, РЕАЛИЗУЕМЫМИ МЕТОДОМ ГОЛОГРАФИИ ФУРЬЕ
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.387; 535.417
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ СЕТЬЮ СО СВЯЗЯМИ, РЕАЛИЗУЕМЫМИ МЕТОДОМ ГОЛОГРАФИИ ФУРЬЕ
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов
Применительно к выдвижению гипотез нейронной сетью (НС) со связями, формируемыми методом голографии Фурье, исследовано влияние фильтрации, возникающей вследствие ограниченности динамического диапазона голографической регистрирующей среды, используемой для записи матрицы связей, на статистические характеристики паттерна внутренней репрезентации (ПВР) гипотезы. Ключевые слова: голография, нейронная сеть.
Введение
Одна из актуальных задач искусственного интеллекта – реализация механизмов творческого мышления. Известно, что творческие способности зависят в основном от двух факторов – развитости образного мышления [1–4] и способности к переходу к хаотической динамике нейронной активности [5–7]. Один из подходов к реализации образного мышления основан на том, что при восприятии информации в коре мозга формируются картины нейронной активности – ПВР воспринимаемой информации. Если информация воспринимается как задача, то это паттерн условий задачи. Мозг как НС обрабатывает эти паттерны.
Основываясь на этих посылках, в работах [8–10] был сформулирован подход к реализации механизма решения творческих задач НС с двунаправленными связями, формируемыми методом голографии Фурье (рис. 1). Подход основан на генерации в режиме хаотической динамики множества паттернов – гипотез, из которых по критерию адекватности условиям задачи должен быть выбран один (или ни одного) паттерна решения задачи. Можно выделить два аспекта проблемы адекватности:
адекватность паттерна условий задачи реальности, обусловленная свойствами сенсоров и трактов, преобразующих воспринимаемую извне информацию в ПВР;
адекватность ПВР гипотезы паттерну условий задачи, обусловленная свойствами НС как реальной физической схемы голографии Фурье с обращением волновых фронтов. Этот пункт специфичен именно для предложенного метода [8–10]. В работе рассмотрен второй аспект проблемы адекватности в плане изменений статистических
свойств паттернов, обусловленных ограниченностью динамического диапазона регистрирующих сред для записи голограммы Фурье. Исследований изменения статистических моментов изображений в таком ключе авторам не известно.
Механизм формирования гипотез и факторы, влияющие на адекватность гипотезы условиям задачи
Свойства ПВР гипотез, порождаемых НС (рис. 1) в режиме хаотической динамики, определяются
тем, что связи слоев репрезентации R и корреляции C реализуются голограммой Фурье, которая описы-
вается выражением
HRC x , y F* ImR x, y ,
(1)
где (νx, νy) – пространственные частоты, * – комплексное сопряжение, F – символ преобразования Фурье, ImR(x,y) – эталонный ПВР. При предъявлении в слое R ПВР задачи ImPer(x,y), в слое C формируется функция корреляции ImPer(x,y) и ImR(x,y)
C , ImPer x, y ImR x, y F F ImPer x, y F* ImR x, y ,
где ξ, η – координаты в плоскости корреляций, а преобразования Фурье – только прямые, поскольку обратное преобразование Фурье здесь физически нереализуемо. На этапе обратного прохождения света C → H → R необходима инверсная голограмма, реализующая метод десвертки
H
inv
x
,
y
F
Im
R
x,
y
1
F
*
Im
R
x,
y
F
*
ImR x, y
.
(2)
Тогда, в предположении линейности фазосопрягающего зеркала в плоскости С, ореол вокруг вос-
становленного в слое R ImR(x,y) описывается выражением
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
17
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ ...
Im
xk
,
yl
F
F
C xk , yl F* ImR x, y
,
(3)
где (xk ,yl) – координаты в плоскости R вне области определения ImR(x,y). В [11] показано, что выражение (3) может быть получено из известной в теории случайных процессов модели линейного предсказателя [12].
R HC
PCM
L1
H
L2
PCM2
C Out
аб Рис. 1. Схема двухслойной нейронной сети с матрицей двунаправленных связей (а) и ее реализация
методом голографии Фурье (б), где R – слой репрезентаций; C – слой корреляций;
L1 и L2 – Фурье-преобразующие линзы с фокусными расстояниями f; H – матрица межнейронных связей
(голограмма); PCM1 и PCM2 – фазосопрягающие зеркала во входной и корреляционной плоскостях
Для перехода к хаотической динамике по сценарию Фейгенбаума среда в слое C должна иметь нелинейность Nl [13], тогда для итерации N выражение (3) примет вид
F
Im N
xk
,
yl
F
Nl CN 1 xk , yl F* ImR x, y
.
(4)
В силу ограниченности динамического диапазона регистрирующих сред голограммы Фурье (1) и
(2) записываются только в ограниченном интервале частот. Соответственно, и гипотезы (3) и (4) строятся
не для исходного ImPer(x,y), а для ПВР, профильтрованного голограммами. Эта фильтрация влияет на статистические характеристики порождаемых ПВР гипотез. В частно-
сти, реальная информация обычно нестационарна, т.е. ПВР задачи неоднороден. Таким образом, измене-
ние однородности ПВР гипотезы снижает адекватность порожденной гипотезы условиям задачи. В связи
с этим представляет интерес оценка влияния фильтрации на статистические характеристики ПВР приме-
нительно к свойствам реальных сред. В данной работе для упрощения выкладок примем допущение о разделимости переменных в функции, описывающей ПВР, и, соответственно, используем термины про-
цесс и стационарность. Рассмотрим по отдельности влияние фильтрации на стационарность по матема-
тическому ожиданию и дисперсии.
Анализ влияния частотной фильтрации на стационарность
Влияние фильтрации на стационарность по математическому ожиданию (МА). МА mx случайного процесса p(x) в Фурье-плоскости определяется как
mx p x dx p x exp j0 xdx F 0 ,
где F(ν) – Фурье-спектр; ω – круговая частота ω = 2ν, ν – частота; j – мнимая единица. Поскольку реа-
лизация Im(x) имеет конечную длину L, оценка стационарности определяется не только нулевой часто-
той, но и некоторым интервалом низких частот. Представим реализацию Im(x) случайного процесса
суммой n+1 гармоник Xi:
n n
Im x Xi x exp
i0 i0
i A
sin i x i ,
где A – параметр, описывающий спад экспоненциального спектра; ωi – круговая частота i-ой гармоники; φi – случайная фаза. МА реализации равно
L n
mIm x Im xdx exp 0 i0
i A
L
sin i x i dx
0.
n
exp
i0
i A
1 Li
cos i cos i L i .
Введем оценку нестационарности реализации следующим образом:
18 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов
Vnm mIml x mImr x
n
exp
i0
i A
2 L
L 2
0
sin
i
x
i
dx
L
L 2
sin
i
x
i
dx
.
(5)
n
exp
i0
i A
2 Li
2 cos
i
L 2
i
1 cos
i
L 2
Нетрудно видеть, что для гармонического сигнала оценка равна нулю, если
cos
1
L 2
cos
2 T1
L 2
1 ,
L 2T1
1 k,k Z
(6)
где Z – множество натуральных чисел. Таким образом, оценка (6) зависит от нижней частоты среза min. Поскольку спектральная плотность реальных изображений уменьшается с частотой, нестационарность
реализации обусловлена преимущественно низкочастотными компонентами, период которых T сравним с длиной реализации L. Условие (6) актуально при малом отношении L к периоду нижней частоты Tmin. Зависимость оценки (6) от min при малых L/Tmin немонотонна – при удалении частоты с периодом, кратным L, самая низкая из оставшихся частот определит рост нестационарности. При L/Tmin>>1 условие (6) уже не играет большой роли, зависимость становится монотонной.
При полосовой фильтрации для высоких частот L/Tmin>>1 их вклад в оценку (6) заведомо невелик. Однако при ослаблении высоких частот увеличивается радиус корреляции τcorr у вершины корреляционной функции, вследствие этого при вычислении оценки как функции обобщенной частоты L/τcorr оценка при измерении τcorr у вершины может при полосовой фильтрации расти быстрее, чем при высокочастотной.
Влияние фильтрации на стационарность по дисперсии. Дисперсия d реализации, введенной
выше, определяется как
D
Im x
D
n i0
Xi
x
n
D
i0
Xi x
n
2 Ci, j 0 ,
i j
где C – кросс-корреляционная функция i-ой и j-ой гармоник. Рассмотрим поведение одной гармоники на
ограниченном отрезке L. Оценку нестационарности для i-ой гармоники введем следующим образом:
VnD D Iml x D Imr x
L
2 L
2
0
exp
1 N
sin
2i x i
2
dx
2 L
L
L
exp
1 N
sin
2i x i
2
dx
2
(7)
1 4i
L
exp
2 N
sin
4i
L 2
2i
1 cos 2i L
.
Для стационарности гармонической реализации достаточно выполнения условия
1
cos
2 T1
L
0,
L T1
K
,
где Т1 – период анализируемой частоты; K – целое число. Таким образом, получаем зависимость, аналогичную (6), – превалирующее влияние на оценку ока-
зывают низкие частоты.
Численное моделирование влияния фильтрации на стационарность
Условия численного моделирования. При моделировании использованы реализации случайных процессов со спектрами, характерными для ряда реальных процессов и полей, – экспоненциальным
F
exp
3
и экспоненциальным с локальным максимумом
F
exp
15 3
.
Оценки стационарности (а не нестационарности, как в предыдущем разделе) вычислялись как
функции обобщенной пространственной частоты:
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
19
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ ...
VM
L
corr
1
m Im l
m Imr
2
D
по МА и
(8)
VD
L
corr
1
D Iml D Imr 2 max D Iml , D Imr 2
(9)
по дисперсии, соответственно. В последнем случае нестационарность вводилась следующим образом:
Imn
x
Im
x
exp
x 200
.
Моделировались три типа фильтров.
1. Сигмоидальная функция
f
1
exp
а
1
,
которая часто используется в теории искусственных НС в качестве активационной функции искусствен-
ного нейрона.
2. Функция Гаусса
f
exp
0
2
.
3. Сумма двух функций Гаусса
f
exp
0 2
exp
exp
2 0
2
1
0
2
,
симметрично смещенных относительно нулевой частоты. Эти фильтры адекватно аппроксимируют пере-
даточные характеристики реальных голограмм Фурье.
Моделировались методы фильтрации, реализуемые при записи голограмм Фурье:
сдвиг частоты максимума пропускания фильтров в высокочастотную область при сохранении формы
фильтрующей функции;
изменение формы фильтрующей функции при постоянной частоте максимума;
дополнительная (к вышеописанным фильтрам) режекция низких частот.
Результаты численного моделирования. При фильтрациях имеет место изменение формы гло-
бальных максимумов корреляционных функций (ГМКФ) (рис. 2).
При сигмоидальном фильтре происходит сужение ГМКФ, заострение вершины. При фильтрациях
Гаусса и суммы двух функций Гаусса изменяется форма ГМКФ – увеличивается радиус у вершины за
счет уменьшения пропускания в высокочастотной области, а также уменьшается радиус у основания как
результат уменьшения пропускания в низкочастотной области. При сигмоидальном фильтре радиус кор-
реляции убывает быстрее, чем при фильтрации Гаусса, вследствие меньшего пропускания в области вы-
соких частот у фильтра Гаусса.
Результаты численного моделирования подтвердили, что определяющую роль в оценках стацио-
нарности по двум первым статистическим моментам играют низкие частоты. При добавлении прямо-
угольного фильтра высоких частот наблюдались затухающие с ростом обобщенной пространственной
частоты осцилляции оценки.
Для примера на рис. 3 приведены зависимости оценок (8) и (9) для описанных методов настройки
фильтров. Для удобства сравнения оценки нормированы и приведены к одному интервалу значений
[0, 1]. Различия в характере нарастания оценок по МА и дисперсии обусловлены тем, что оценка по ма-
тематическому ожиданию определяется квадратом пропускания, а оценка по дисперсии – четвертой сте-
пенью пропускания.
20 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов 1,0
0,5
1 2
3 4
Амплитуда, отн. ед.
0,0
0 2 4 6 8 10 пиксели
Рис. 2. Сечения глобальных максимумов корреляционных функций для фильтра – суммы двух функций Гаусса: 1 – до фильтрации; 2 – при фильтрации без сдвига и сужения, 0= 25, =620; 3 – при сужении функции фильтра, 0= 25, =494; 4 – при сдвиге функции фильтра, 0= 29,5, =620
1,0 1,0
1
0,8 1 0,8 2
0,6 3 0,6 4
2 3
4
Оценка стационарности
Оценка стационарности
0,4 5 6
0,2
0,4 0,2
5 6
0,0 0,0
70 80 L/corr
90
80 L/corr
120
аб
Рис. 3. Оценки стационарности при: сужении фильтрующей функции (а); изменении формы
фильтрующей функции (б). Оценки стационарности по дисперсии и по матожиданию: 1, 4 – сигмоидаль-
ный фильтр; 2, 5 – фильтр Гаусса; 3, 6 – фильтр – сумма двух функций Гаусса
Заключение
Ограниченность динамического диапазона регистрирующих сред, используемых для реализации связей нейронных слоев, имеет следствием повышение стационарности формируемых сетью ПВР гипотез по сравнению с характеристиками ПВР условий задачи. Повышение стационарности гипотезы может рассматриваться как снижение ее адекватности условиям задачи. Эффективность стационаризации гипотезы по двум первым статистическим моментам определяется, в первую очередь, степенью ослабления низких частот. Вывод о важности низкочастотного диапазона с точки зрения адекватности гипотезы условиям задачи коррелирует с предложенным в работе [14] методом порождения данной моделью НС индуктивной гипотезы, заключающимся в расширении спектрального диапазона матрицы связей в область низких частот.
Работа выполнена при финансовой поддержке Минобрнауки РФ и РФФИ (проекты № 09-0100165-а и 09-02-00223-а).
Авторы выражают благодарность профессору И.Б. Фоминых и профессору О.П. Кузнецову за ряд полезных обсуждений.
Литература
1. Кузнецов О.П. Неклассические парадигмы в ИИ // Известия АН. Сер. Теория и системы управления. – 1995. – № 5. – С. 3–23.
2. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. – 1996. – № 4. – С. 121–145.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
21
ИССЛЕДОВАНИЕ ФОКУСИРУЮЩИХ СВОЙСТВ ФРАКТАЛЬНЫХ...
3. Семинар «Отражение образного мышления и интуиции специалиста в системах искусственного интеллекта» // Новости искусственного интеллекта. – 1998. – № 1. – С. 22–136; 1998. – № 3. – С. 64– 100.
4. Фоминых И.Б. О технологии решения творческих задач // Сб. трудов VIII Национальной конференции по искусственному интеллекту «КИИ-2002». – М.: Физматлит, 2002. – Т. 1. – С. 519–525.
5. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 13–28.
6. Князева Е.Н. Методы нелинейной динамики в когнитивной науке // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 29–48.
7. Комбс А. Сознание: Хаотическое и странно-аттракторное // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 49–60.
8. Павлов А.В. О применимости голографических технологий в задаче моделирования творческого мышления // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник
трудов IV Международной научно-практической конференции, Коломна, 28–30 мая 2007. – М.:
Физматлит, 2007. – С. 282–290. 9. Павлов А.В. О возможности моделирования творческого мышления методом голографии Фурье //
Труды XI Национальной конференции по искусственному интеллекту. – М.: URSS, 2008. – Т. 1. – С. 384–392. 10. Васильев В.Н., Павлов А.В. О применимости голографии Фурье в проблеме моделирования творческого мышления // Информационные системы и технологии. Теория и практика. Сб. Научных трудов. – Шахты: ГОУ ВПО «ЮРГУЭС», 2009. – С. 91–100. 11. Павлов А.В. О применимости модели линейной регрессии к описанию Фурье-голографии // Оптика и спектроскопия. – 2005. – Т. 98. – № 6. – С. 1033–1037. 12. Grimmet G.R., Sterzaker D.R. Probability and Random Processes, Oxford. Oxford Sc. Publ., Claredon Press, 1992. – 607 p. 13. Кроновер Р.М. Фракталы и хаос в динамических системах. – М.: Постмаркет, 2000. – 352 с. 14. Павлов А.В. Реализация правдоподобных выводов на нейросетях со связями по схеме голографии Фурье // Искусственный интеллект и принятие решений. – 2010. – № 1. – С. 3–14.
Бекяшева Зоя Салаватовна – Санкт-Петербургский государственный университет информационных техноло-
гий, механики и оптики, студентка, zoya.bekyasheva@phoi.ifmo.ru
Васильев Владимир Нико- – Санкт-Петербургский государственный университет информационных техноло-
лаевич
гий, механики и оптики, доктор технических наук, профессор, ректор,
vasilev@mail.ifmo.ru
Павлов Александр Влади- – Санкт-Петербургский государственный университет информационных техноло-
мирович
гий, механики и оптики, кандидат технических наук, ст.н.с., pavlov@phoi.ifmo.ru
22 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)
2 ФОТОНИКА И ОПТОИНФОРМАТИКА
УДК 004.387; 535.417
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ, ПОРОЖДАЕМЫХ НЕЙРОННОЙ СЕТЬЮ СО СВЯЗЯМИ, РЕАЛИЗУЕМЫМИ МЕТОДОМ ГОЛОГРАФИИ ФУРЬЕ
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов
Применительно к выдвижению гипотез нейронной сетью (НС) со связями, формируемыми методом голографии Фурье, исследовано влияние фильтрации, возникающей вследствие ограниченности динамического диапазона голографической регистрирующей среды, используемой для записи матрицы связей, на статистические характеристики паттерна внутренней репрезентации (ПВР) гипотезы. Ключевые слова: голография, нейронная сеть.
Введение
Одна из актуальных задач искусственного интеллекта – реализация механизмов творческого мышления. Известно, что творческие способности зависят в основном от двух факторов – развитости образного мышления [1–4] и способности к переходу к хаотической динамике нейронной активности [5–7]. Один из подходов к реализации образного мышления основан на том, что при восприятии информации в коре мозга формируются картины нейронной активности – ПВР воспринимаемой информации. Если информация воспринимается как задача, то это паттерн условий задачи. Мозг как НС обрабатывает эти паттерны.
Основываясь на этих посылках, в работах [8–10] был сформулирован подход к реализации механизма решения творческих задач НС с двунаправленными связями, формируемыми методом голографии Фурье (рис. 1). Подход основан на генерации в режиме хаотической динамики множества паттернов – гипотез, из которых по критерию адекватности условиям задачи должен быть выбран один (или ни одного) паттерна решения задачи. Можно выделить два аспекта проблемы адекватности:
адекватность паттерна условий задачи реальности, обусловленная свойствами сенсоров и трактов, преобразующих воспринимаемую извне информацию в ПВР;
адекватность ПВР гипотезы паттерну условий задачи, обусловленная свойствами НС как реальной физической схемы голографии Фурье с обращением волновых фронтов. Этот пункт специфичен именно для предложенного метода [8–10]. В работе рассмотрен второй аспект проблемы адекватности в плане изменений статистических
свойств паттернов, обусловленных ограниченностью динамического диапазона регистрирующих сред для записи голограммы Фурье. Исследований изменения статистических моментов изображений в таком ключе авторам не известно.
Механизм формирования гипотез и факторы, влияющие на адекватность гипотезы условиям задачи
Свойства ПВР гипотез, порождаемых НС (рис. 1) в режиме хаотической динамики, определяются
тем, что связи слоев репрезентации R и корреляции C реализуются голограммой Фурье, которая описы-
вается выражением
HRC x , y F* ImR x, y ,
(1)
где (νx, νy) – пространственные частоты, * – комплексное сопряжение, F – символ преобразования Фурье, ImR(x,y) – эталонный ПВР. При предъявлении в слое R ПВР задачи ImPer(x,y), в слое C формируется функция корреляции ImPer(x,y) и ImR(x,y)
C , ImPer x, y ImR x, y F F ImPer x, y F* ImR x, y ,
где ξ, η – координаты в плоскости корреляций, а преобразования Фурье – только прямые, поскольку обратное преобразование Фурье здесь физически нереализуемо. На этапе обратного прохождения света C → H → R необходима инверсная голограмма, реализующая метод десвертки
H
inv
x
,
y
F
Im
R
x,
y
1
F
*
Im
R
x,
y
F
*
ImR x, y
.
(2)
Тогда, в предположении линейности фазосопрягающего зеркала в плоскости С, ореол вокруг вос-
становленного в слое R ImR(x,y) описывается выражением
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
17
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ ...
Im
xk
,
yl
F
F
C xk , yl F* ImR x, y
,
(3)
где (xk ,yl) – координаты в плоскости R вне области определения ImR(x,y). В [11] показано, что выражение (3) может быть получено из известной в теории случайных процессов модели линейного предсказателя [12].
R HC
PCM
L1
H
L2
PCM2
C Out
аб Рис. 1. Схема двухслойной нейронной сети с матрицей двунаправленных связей (а) и ее реализация
методом голографии Фурье (б), где R – слой репрезентаций; C – слой корреляций;
L1 и L2 – Фурье-преобразующие линзы с фокусными расстояниями f; H – матрица межнейронных связей
(голограмма); PCM1 и PCM2 – фазосопрягающие зеркала во входной и корреляционной плоскостях
Для перехода к хаотической динамике по сценарию Фейгенбаума среда в слое C должна иметь нелинейность Nl [13], тогда для итерации N выражение (3) примет вид
F
Im N
xk
,
yl
F
Nl CN 1 xk , yl F* ImR x, y
.
(4)
В силу ограниченности динамического диапазона регистрирующих сред голограммы Фурье (1) и
(2) записываются только в ограниченном интервале частот. Соответственно, и гипотезы (3) и (4) строятся
не для исходного ImPer(x,y), а для ПВР, профильтрованного голограммами. Эта фильтрация влияет на статистические характеристики порождаемых ПВР гипотез. В частно-
сти, реальная информация обычно нестационарна, т.е. ПВР задачи неоднороден. Таким образом, измене-
ние однородности ПВР гипотезы снижает адекватность порожденной гипотезы условиям задачи. В связи
с этим представляет интерес оценка влияния фильтрации на статистические характеристики ПВР приме-
нительно к свойствам реальных сред. В данной работе для упрощения выкладок примем допущение о разделимости переменных в функции, описывающей ПВР, и, соответственно, используем термины про-
цесс и стационарность. Рассмотрим по отдельности влияние фильтрации на стационарность по матема-
тическому ожиданию и дисперсии.
Анализ влияния частотной фильтрации на стационарность
Влияние фильтрации на стационарность по математическому ожиданию (МА). МА mx случайного процесса p(x) в Фурье-плоскости определяется как
mx p x dx p x exp j0 xdx F 0 ,
где F(ν) – Фурье-спектр; ω – круговая частота ω = 2ν, ν – частота; j – мнимая единица. Поскольку реа-
лизация Im(x) имеет конечную длину L, оценка стационарности определяется не только нулевой часто-
той, но и некоторым интервалом низких частот. Представим реализацию Im(x) случайного процесса
суммой n+1 гармоник Xi:
n n
Im x Xi x exp
i0 i0
i A
sin i x i ,
где A – параметр, описывающий спад экспоненциального спектра; ωi – круговая частота i-ой гармоники; φi – случайная фаза. МА реализации равно
L n
mIm x Im xdx exp 0 i0
i A
L
sin i x i dx
0.
n
exp
i0
i A
1 Li
cos i cos i L i .
Введем оценку нестационарности реализации следующим образом:
18 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов
Vnm mIml x mImr x
n
exp
i0
i A
2 L
L 2
0
sin
i
x
i
dx
L
L 2
sin
i
x
i
dx
.
(5)
n
exp
i0
i A
2 Li
2 cos
i
L 2
i
1 cos
i
L 2
Нетрудно видеть, что для гармонического сигнала оценка равна нулю, если
cos
1
L 2
cos
2 T1
L 2
1 ,
L 2T1
1 k,k Z
(6)
где Z – множество натуральных чисел. Таким образом, оценка (6) зависит от нижней частоты среза min. Поскольку спектральная плотность реальных изображений уменьшается с частотой, нестационарность
реализации обусловлена преимущественно низкочастотными компонентами, период которых T сравним с длиной реализации L. Условие (6) актуально при малом отношении L к периоду нижней частоты Tmin. Зависимость оценки (6) от min при малых L/Tmin немонотонна – при удалении частоты с периодом, кратным L, самая низкая из оставшихся частот определит рост нестационарности. При L/Tmin>>1 условие (6) уже не играет большой роли, зависимость становится монотонной.
При полосовой фильтрации для высоких частот L/Tmin>>1 их вклад в оценку (6) заведомо невелик. Однако при ослаблении высоких частот увеличивается радиус корреляции τcorr у вершины корреляционной функции, вследствие этого при вычислении оценки как функции обобщенной частоты L/τcorr оценка при измерении τcorr у вершины может при полосовой фильтрации расти быстрее, чем при высокочастотной.
Влияние фильтрации на стационарность по дисперсии. Дисперсия d реализации, введенной
выше, определяется как
D
Im x
D
n i0
Xi
x
n
D
i0
Xi x
n
2 Ci, j 0 ,
i j
где C – кросс-корреляционная функция i-ой и j-ой гармоник. Рассмотрим поведение одной гармоники на
ограниченном отрезке L. Оценку нестационарности для i-ой гармоники введем следующим образом:
VnD D Iml x D Imr x
L
2 L
2
0
exp
1 N
sin
2i x i
2
dx
2 L
L
L
exp
1 N
sin
2i x i
2
dx
2
(7)
1 4i
L
exp
2 N
sin
4i
L 2
2i
1 cos 2i L
.
Для стационарности гармонической реализации достаточно выполнения условия
1
cos
2 T1
L
0,
L T1
K
,
где Т1 – период анализируемой частоты; K – целое число. Таким образом, получаем зависимость, аналогичную (6), – превалирующее влияние на оценку ока-
зывают низкие частоты.
Численное моделирование влияния фильтрации на стационарность
Условия численного моделирования. При моделировании использованы реализации случайных процессов со спектрами, характерными для ряда реальных процессов и полей, – экспоненциальным
F
exp
3
и экспоненциальным с локальным максимумом
F
exp
15 3
.
Оценки стационарности (а не нестационарности, как в предыдущем разделе) вычислялись как
функции обобщенной пространственной частоты:
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
19
СТАТИСТИЧЕСКИЕ СВОЙСТВА ГИПОТЕЗ ...
VM
L
corr
1
m Im l
m Imr
2
D
по МА и
(8)
VD
L
corr
1
D Iml D Imr 2 max D Iml , D Imr 2
(9)
по дисперсии, соответственно. В последнем случае нестационарность вводилась следующим образом:
Imn
x
Im
x
exp
x 200
.
Моделировались три типа фильтров.
1. Сигмоидальная функция
f
1
exp
а
1
,
которая часто используется в теории искусственных НС в качестве активационной функции искусствен-
ного нейрона.
2. Функция Гаусса
f
exp
0
2
.
3. Сумма двух функций Гаусса
f
exp
0 2
exp
exp
2 0
2
1
0
2
,
симметрично смещенных относительно нулевой частоты. Эти фильтры адекватно аппроксимируют пере-
даточные характеристики реальных голограмм Фурье.
Моделировались методы фильтрации, реализуемые при записи голограмм Фурье:
сдвиг частоты максимума пропускания фильтров в высокочастотную область при сохранении формы
фильтрующей функции;
изменение формы фильтрующей функции при постоянной частоте максимума;
дополнительная (к вышеописанным фильтрам) режекция низких частот.
Результаты численного моделирования. При фильтрациях имеет место изменение формы гло-
бальных максимумов корреляционных функций (ГМКФ) (рис. 2).
При сигмоидальном фильтре происходит сужение ГМКФ, заострение вершины. При фильтрациях
Гаусса и суммы двух функций Гаусса изменяется форма ГМКФ – увеличивается радиус у вершины за
счет уменьшения пропускания в высокочастотной области, а также уменьшается радиус у основания как
результат уменьшения пропускания в низкочастотной области. При сигмоидальном фильтре радиус кор-
реляции убывает быстрее, чем при фильтрации Гаусса, вследствие меньшего пропускания в области вы-
соких частот у фильтра Гаусса.
Результаты численного моделирования подтвердили, что определяющую роль в оценках стацио-
нарности по двум первым статистическим моментам играют низкие частоты. При добавлении прямо-
угольного фильтра высоких частот наблюдались затухающие с ростом обобщенной пространственной
частоты осцилляции оценки.
Для примера на рис. 3 приведены зависимости оценок (8) и (9) для описанных методов настройки
фильтров. Для удобства сравнения оценки нормированы и приведены к одному интервалу значений
[0, 1]. Различия в характере нарастания оценок по МА и дисперсии обусловлены тем, что оценка по ма-
тематическому ожиданию определяется квадратом пропускания, а оценка по дисперсии – четвертой сте-
пенью пропускания.
20 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)
З.С. Бекяшева, В.Н. Васильев, А.В. Павлов 1,0
0,5
1 2
3 4
Амплитуда, отн. ед.
0,0
0 2 4 6 8 10 пиксели
Рис. 2. Сечения глобальных максимумов корреляционных функций для фильтра – суммы двух функций Гаусса: 1 – до фильтрации; 2 – при фильтрации без сдвига и сужения, 0= 25, =620; 3 – при сужении функции фильтра, 0= 25, =494; 4 – при сдвиге функции фильтра, 0= 29,5, =620
1,0 1,0
1
0,8 1 0,8 2
0,6 3 0,6 4
2 3
4
Оценка стационарности
Оценка стационарности
0,4 5 6
0,2
0,4 0,2
5 6
0,0 0,0
70 80 L/corr
90
80 L/corr
120
аб
Рис. 3. Оценки стационарности при: сужении фильтрующей функции (а); изменении формы
фильтрующей функции (б). Оценки стационарности по дисперсии и по матожиданию: 1, 4 – сигмоидаль-
ный фильтр; 2, 5 – фильтр Гаусса; 3, 6 – фильтр – сумма двух функций Гаусса
Заключение
Ограниченность динамического диапазона регистрирующих сред, используемых для реализации связей нейронных слоев, имеет следствием повышение стационарности формируемых сетью ПВР гипотез по сравнению с характеристиками ПВР условий задачи. Повышение стационарности гипотезы может рассматриваться как снижение ее адекватности условиям задачи. Эффективность стационаризации гипотезы по двум первым статистическим моментам определяется, в первую очередь, степенью ослабления низких частот. Вывод о важности низкочастотного диапазона с точки зрения адекватности гипотезы условиям задачи коррелирует с предложенным в работе [14] методом порождения данной моделью НС индуктивной гипотезы, заключающимся в расширении спектрального диапазона матрицы связей в область низких частот.
Работа выполнена при финансовой поддержке Минобрнауки РФ и РФФИ (проекты № 09-0100165-а и 09-02-00223-а).
Авторы выражают благодарность профессору И.Б. Фоминых и профессору О.П. Кузнецову за ряд полезных обсуждений.
Литература
1. Кузнецов О.П. Неклассические парадигмы в ИИ // Известия АН. Сер. Теория и системы управления. – 1995. – № 5. – С. 3–23.
2. Голицын Г.А., Фоминых И.Б. Нейронные сети и экспертные системы: перспективы интеграции // Новости искусственного интеллекта. – 1996. – № 4. – С. 121–145.
Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2010, № 6 (70)
21
ИССЛЕДОВАНИЕ ФОКУСИРУЮЩИХ СВОЙСТВ ФРАКТАЛЬНЫХ...
3. Семинар «Отражение образного мышления и интуиции специалиста в системах искусственного интеллекта» // Новости искусственного интеллекта. – 1998. – № 1. – С. 22–136; 1998. – № 3. – С. 64– 100.
4. Фоминых И.Б. О технологии решения творческих задач // Сб. трудов VIII Национальной конференции по искусственному интеллекту «КИИ-2002». – М.: Физматлит, 2002. – Т. 1. – С. 519–525.
5. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 13–28.
6. Князева Е.Н. Методы нелинейной динамики в когнитивной науке // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 29–48.
7. Комбс А. Сознание: Хаотическое и странно-аттракторное // В сб. «Синергетика и психология». Вып. 3. Когнитивные процессы. – М.: Когито-Центр, 2004. – С. 49–60.
8. Павлов А.В. О применимости голографических технологий в задаче моделирования творческого мышления // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник
трудов IV Международной научно-практической конференции, Коломна, 28–30 мая 2007. – М.:
Физматлит, 2007. – С. 282–290. 9. Павлов А.В. О возможности моделирования творческого мышления методом голографии Фурье //
Труды XI Национальной конференции по искусственному интеллекту. – М.: URSS, 2008. – Т. 1. – С. 384–392. 10. Васильев В.Н., Павлов А.В. О применимости голографии Фурье в проблеме моделирования творческого мышления // Информационные системы и технологии. Теория и практика. Сб. Научных трудов. – Шахты: ГОУ ВПО «ЮРГУЭС», 2009. – С. 91–100. 11. Павлов А.В. О применимости модели линейной регрессии к описанию Фурье-голографии // Оптика и спектроскопия. – 2005. – Т. 98. – № 6. – С. 1033–1037. 12. Grimmet G.R., Sterzaker D.R. Probability and Random Processes, Oxford. Oxford Sc. Publ., Claredon Press, 1992. – 607 p. 13. Кроновер Р.М. Фракталы и хаос в динамических системах. – М.: Постмаркет, 2000. – 352 с. 14. Павлов А.В. Реализация правдоподобных выводов на нейросетях со связями по схеме голографии Фурье // Искусственный интеллект и принятие решений. – 2010. – № 1. – С. 3–14.
Бекяшева Зоя Салаватовна – Санкт-Петербургский государственный университет информационных техноло-
гий, механики и оптики, студентка, zoya.bekyasheva@phoi.ifmo.ru
Васильев Владимир Нико- – Санкт-Петербургский государственный университет информационных техноло-
лаевич
гий, механики и оптики, доктор технических наук, профессор, ректор,
vasilev@mail.ifmo.ru
Павлов Александр Влади- – Санкт-Петербургский государственный университет информационных техноло-
мирович
гий, механики и оптики, кандидат технических наук, ст.н.с., pavlov@phoi.ifmo.ru
22 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2010, № 6 (70)