Стабилизация изображений на основе измерения их смещения при совместном использовании матричного и двух линейных фотоприемников
УДК 621.397.13
СТАБИЛИЗАЦИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ИЗМЕРЕНИЯ ИХ СМЕЩЕНИЯ ПРИ СОВМЕСТНОМ ИСПОЛЬЗОВАНИИ МАТРИЧНОГО И ДВУХ ЛИНЕЙНЫХ ФОТОПРИЕМНИКОВ
© 2012 г. А. К. Цыцулин*, доктор техн. наук; Ш. С. Фахми*, доктор техн. наук; А. А. Манцветов**, канд. техн. наук; Д. О. Малашин**, аспирант; И. А. Зубакин**, канд. техн. наук
** ОАО “Научно-исследовательский институт телевидения”, Санкт-Петербург
** Санкт-Петербургский государственный электротехнический университет “ЛЭТИ” ** им. В.И. Ульянова (Ленина), Санкт-Петербург
** Е-mail: tsytsulin@niitv.ru
Рассмотрен метод построения телекамер, использующих стабилизацию изображения на основе прямого метода измерения смещения изображения относительно матричного фотоприемника за счет использования двух дополнительных ортогональных линейных фотоприемников. Показано, что предложенный подход позволяет при параболической аппроксимации корреляционной функции существенно расширить диапазон скоростей смещения визирной оси, при которых искажения смаза маскируются шумом.
Ключевые слова: стабилизация изображения, смаз, корреляция, множественные потоки данных.
Коды OCIS: 040.1490, 100.4550, 110.4153, 100.2980
Поступила в редакцию 18.06.2012
Важной проблемой видеоинформатики является получение изображений максимального качества при наличии движения изображения. При этом подход к описанию различных видов движения объекта и наблюдателя изменяется в ходе развития технологий и концепций. Можно выделить несколько характерных, перекрывающихся во времени, этапов построения видеоинформационных систем:
учет семантической смены сюжета или так называемая концепция малокадрового телевидения, предложенная С.И. Катаевым и вошедшая в практику космического телевидения [1]. Позже она получила развитие в виде адаптации кадровой частоты к динамике сюжета для максимизации количества информации в кадре [2],
учет влияния подвижности изображения на разрешающую способность телевизионной системы [3], в том числе при наблюдении Земли из космоса [4], что позволило формализовать требования к стабилизаторам изображений, в частности, в современных цифровых фотоаппаратах, где реализуются косвенные методы оценки возмущения визирной оси с помощью датчиков ускорений [5],
обработка изображений для компенсации смаза [6], выдвинувшая дополнительные требования к программно-аппаратным средствам обработки видеосигнала в реальном времени,
электронная стабилизация изображения для облегчения работы оператора, не учитывающая потери информации из-за смаза и использующая прямой метод оценки возмущений, но эффективная при медленных возмущениях [7],
адаптивная оптика, позволяющая компенсировать возмущения турбулентной атмосферы благодаря использованию нескольких подвижных сегментов зеркала [8],
электромеханическая стабилизация изображения в астрономии, использующая прямой метод оценки медленных возмущений по ограниченному набору изображений при наличии в поле зрения опорной звезды с яркостью, на порядки большей, чем у исследуемой звезды в основном поле [9],
электромеханическая стабилизация изображения, использующая прямой метод оценки быстрых возмущений по широкому классу изображений. Запас энергии, необходимый при
“Оптический журнал”, 79, 11, 2012
67
скоростном считывании сигнала, достигается не за счет яркости объектов, а за счет площади вспомогательного изображения [10].
В широкой проблематике учета движения изображений в данной статье выделим частную, но актуальную задачу компенсации смаза изображения, вызываемого колебаниями визирной оси телекамеры при воздействии механических возмущений типа вибрации основания. Данная статья посвящена синтезу структуры и параметров телекамеры, реализующей прямой метод оценки возмущений [10]. Прямой метод измерения смещения может быть реализован, если наблюдаемый сюжет содержит объекты с неравномерной яркостью как в центральном поле, так и на его периферии. Требование совмещения изображений в реальном времени ведет к необходимости использования прямого метода измерения смещения изображений, например, за счет введения в фокальную плоскость кроме основного матричного фотоприемника двух дополнительных линейных фотоприемников (рис. 1). При
этом дополнительные линейные массивы могут быть сформированы как топологически, так и виртуально, программным способом выделения из общего массива фоточувствительных элементов [11]. С точки зрения компьютерной системотехники этот метод переводит твердотельную телекамеру в новый класс приборов с множественным потоком данных, способствующим извлечению информации с минимальными вычислительными затратами и задержками. Благодаря тому, что количество элементов и время считывания сигнала с дополнительных линейных фотоприемников на два порядка меньше количества элементов и времени считывания всего кадра основного массива, достигается основной положительный эффект рассматриваемого метода, состоящий в расширении на два порядка диапазона скоростей компенсируемого смаза из-за возмущений визирной оси.
На рис. 1 показано, что размеры и форма пикселов вспомогательных линейных фотоприемников отличаются от таковых для основно-
Линейный фотоприемник 1
Объектив
Фотоприемный модуль Объектив
Выход видеосигнала
Подвижный элемент Блок
управления
Линейный фотоприемник 2
Измеритель смещения
Режекторный Режекторный
фильтр
фильтр
Задержка на строку
Задержка на строку
Коррелятор Коррелятор
Интерполятор Интерполятор
b
m
Рис. 1. Функциональная схема системы стабилизации изображения c прямым измерением смещения изображений дополнительными линейными фотоприемниками.
68 “Оптический журнал”, 79, 11, 2012
го массива. Размер пиксела вспомогательного фотоприемника m по стороне, примыкающей к основному массиву, делается меньше размера пиксела основного фотоприемника. Размер пиксела вспомогательного линейного фотоприемника в ортогональном направлении b делается существенно больше размера пиксела основного фотоприемника. Эти различия обусловлены необходимостью повышения точности измерения смещения изображения при времени накопления Тс во вспомогательных фотоприемниках, много меньшем времени кадра Тк основного фотоприемника. Существенно большая площадь пиксела измерительной строки bm по сравнению с площадью пиксела основной матрицы 2 при равенстве удельной емкости с, вычисляемой в электронах на единицу площади, обеспечивает необходимый для повышения частоты считывания запас накопительной способности пикселов: ТкNe = c2 ТсNem = cbm. Различие в режимах управления чувствительностью в трактах обработки видеоинформации основного массива и во вспомогательных линейных фотоприемниках состоит в том, что в основном массиве чрезмерное увеличение освещенности компенсируется уменьшением времени накопления системой автоматического регулирования времени накопления (АРВН) при постоянной частоте кадров, а во вспомогательных линейных фотоприемниках целесообразно повышение строчной частоты при времени накопления, равном времени строки.
Оптимальная структура измерителя смещения изображений, показанного на рис. 1, включает:
режекторный фильтр (декоррелятор сигнала) для контрастирования взаимнокорреляционнной функции (ВКФ) [6],
коррелятор – вычислитель ВКФ для дискретных значений сдвига на целое число пикселов [6],
интерполятор – вычислитель смещения, как целочисленного относительно пикселов изображения [6], так и дробного (субпиксельная точность измерения) [12, 13].
Эти три блока могут проектироваться как самостоятельные СФ-блоки, и система в целом может быть реализована как видеосистема на кристалле. Сложность вычислителя, определяемая сложностью трех указанных блоков, зависит от исходных параметров сигнала и телекамеры, и выбранными параметрами этих блоков.
Структурный синтез системы стабилизации изображения подчинен цели такой скоростной компенсации возмущений визирной оси, чтобы ошибки стабилизации маскировались шумом изображения. Структурный и параметрический синтез входящего в систему стабилизации вычислителя подчинен цели достижения потенциальной точности оценки смещения изображения в системе стабилизации с дополнительными линейными фотоприемниками при следующей опорной триаде синтеза:
1. Априорная информация о типовых изображениях, формируемых фотоприемными массивами телекамеры:
телекамера с кадровым периодом Тк формирует последовательность сигналов изображения основного массива NN квадратных пикселов площадью и две дополнительные последовательности yi и yi с ортогональных линейных массивов по J пикселов каждый, с размерами bm; время считывания Тс этих строк существенно меньше времени кадра Тк основного массива: Тк >> Тс,
диаметр характеристики объектива (функции рассеяния точки или “кружка рассеяния”) согласован с размером пиксела основного массива,
автокорреляционная функция (АКФ) оптических изображений, анализируемых линейными фотоприемниками, при достаточно больших аргументах в силу свойств наблюдаемых сюжетов моделируется экспоненциальной функцией K(x) = K(0)exp(–|x|/) с интервалом корреляции J >> >> ,
АКФ оптических изображений (до дискретизации линейными фотоприемниками) в силу свертки оптического сигнала с импульсной характеристикой объектива hоб exp(–x2/2r2) с эффективным диаметром 2r, при малых аргументах x описывается не линейной функцией, как принято в [6], а более сложной функцией (расчет [12] показывает зависимость формы АКФ от отношения r/ и отношения сигнал/ шум). Из эксперимента следует, что АКФ при малых аргументах описывается квадратичной функцией (рис. 2),
в первом приближении, при наличии некоторого среднего фона можно считать, что все сигналы наблюдаются в присутствии белого (некоррелированного) гауссовского шума i (шума фона и шума считывания), т. е. наблюдению доступны сигналы yi = si + i.
2. Критерий качества: минимум искажений смаза в сигнале изображения, формируемом
“Оптический журнал”, 79, 11, 2012
69
1 (а)
0,99
1 0,98 2
0,97
0,96
0,95
0,94
0,93 –1 –0,8 –0,6 –0,4 –0,2 0
0,2 0,4 0,6 0,8
1
1 (б)
0,8
1 0,6 2
0,4
0,2
0
–0,2
–0,4 –1 –0,8 –0,6 –0,4 –0,2 0
0,2 0,4 0,6 0,8
1
Рис. 2. Автокорреляционные функции изображения по результатам эксперимента при r/ < 1 до контрастирования режекторным фильтром (а) и после контрастирования (б) при аппроксимации дискретных замеров (показаны точками на рисунке) кривой 2-го (1) и 4-го порядков (2).
основным фотоприемным массивом, достигается при:
максимально возможной частоте считывания с вспомогательных линейных фотоприемников,
минимуме среднеквадратичной ошибки измерения смещения сигналов соседних строк вспомогательными линейными фотоприемниками.
3. Ограничения: сложность вычислителя смещения изображения, стабильность вычислений, необходимость реализации вычислителя в виде отдельной цифровой СБИС или в виде СФ-блоков, которые могут быть включены в состав видеосистемы на кристалле. Варьируемыми (искомыми) параметрами являются:
размер пиксела измерительной строки, разрядность АЦП, число членов импульсной характеристики режекторного фильтра, алгоритм вычисления корреляции и его сложность, алгоритм интерполяции и его сложность. При нахождении размеров пиксела измерительной строки введем отношение = /m. Аналитически найти оптимальное значение трудно, так как формально ошибка измерения смещения (с учетом интерполяции взаимнокорреляционной функции ВКФ) не зависит от в силу взаимно компенсирующего влияния емкости пикселов Nem и их числа J в измерительной строке. Вместе с тем достижимая точность измерения связана с методологической ошибкой интерполяции ВКФ: чем меньше , тем устойчивее система к отклонениям
АКФ реальных сигналов от принятой модели. С другой стороны, уменьшение ведет к возрастанию сложности вычислителя, его быстродействия и тепловыделения, а также к необходимости использования более дорогостоящей технологии изготовления с лучшими топологическими нормами. Поэтому приходится находить компромиссное значение и можно прогнозировать, что оно должно лежать в интервале 2–5.
Для выбора оптимальных параметров сначала зафиксируем связь сложности блоков с разрядностью m АЦП сигналов вспомогательных линейных фотоприемников.
4. Предварительная фильтрация с помощью режекторных фильтров обеспечивает не только известное [6] обострение ВКФ, но и способствует уменьшению сложности накапливающего сумматора вычислителя ВКФ пропорционально log2/m.
Основными требованиями к режекторному фильтру, обеспечивающему обострение ВКФ при отсутствии смещения оценки, является симметрия импульсной характеристики hk и равенство нулю суммы всех ее членов
åk=l
hk = 0 ; h0 = 1; hk= 0 при k > l.
k=-l
Синтез импульсной характеристики режекторного фильтра опирается на критерий минимума функционала, включающего взвешенную сумму потери полезной информации I об измеряемом параметре сдвига и сложности фильтра W [14]. Потеря полезной информации связана с коэффициентом изменения отношения
70 “Оптический журнал”, 79, 11, 2012
сигнал/шум K = Kш/Ks из-за роста мощности шума на выходе фильтра пропорционально
коэффициенту шума
åk=¥
Kø =
hk2
k=-¥
и возможного уменьшения энергии сигнала одноэлементных фрагментов и перепадов яркости, в первом приближении определяемого отношением полуширины импульсной характеристики фильтра к длительности фронта видеоимпульса Ks = [min{l/; 1}]2. Это означает, что в рассматриваемой системе полуширина l импульсной характеристики режекторного фильтра должна быть не менее отношения размеров пиксела основного и вспомогателього фотоприемников.
При оценке сложности блоков вычислителя смещения изображений будем считать, что
сложность характеризуется числом вентилей,
минимальная сложность ячейки памяти – два вентиля,
минимальная сложность полного одноразрядного сумматора – пять вентилей.
При оценке сложности режекторного фильтра можно считать, что она определяется только требуемыми элементами задержки со слож-
ностью 4lm и 2l сумматорами со сложностью 4(m + l), так как применяется только умножение на целочисленные степени числа 2–1 (1/2,
1/4, 1/8, …), осуществляемое простым сдвигом
кода, ведущим к увеличению разрядности кода на l. При количественной оценке параметров далее будем полагать = 4.
Простейшим фильтром, отвечающим по-
ставленным условиям, является фильтр с импульсной характеристикой {h–1 = –1/2; h0 = 1, h1 = –1/2} (рис. 3а). Этот фильтр, известный в радиолокации как черезпериодный компен-
сатор второго порядка, рекомендуется к при-
менению в задаче обострения ВКФ [6]. Так как применение этого фильтра при > 1 ведет к за-
метной потере информации, необходимо обра-
титься к фильтрам с большим числом членов
импульсной характеристики, примеры кото-
рых показаны на рис. 3б–3г, а параметры све-
дены в таблице. Эти фильтры имеют следую-
щие импульсные характеристики: рис. 3б: {h–2 = h–1 = h1 = h2 = –1/4; h0 = 1}, рис. 3в: {h–1 = h1 = –0,3125; h–2 = h2 = – 0,1875;
h0 = 1}, рис. 3г: {h–4 = h–3 = h–2 = h–1 = h1 = h2 = h3 =
= h4= –1/8; h0 = 1}. Фильтр на pис. 3в является оптимальным
для обнаружения одноэлементных сигналов на
(а)
Kш = 1,5 W = 8(m + 1)
(г)
Kш = 1,125 W = 32(m + 1,5)
(б)
Kш = 1,25 W = 16(m + 1)
(в)
Kш = 1,266 W = 16(m + 2)
Рис. 3. Импульсные характеристики режекторных фильтров и их параметры.
Параметры режекторных фильтров
Фильтр
l
Kш
рис. 3а
1
1,5
рис. 3б
2
1,25
рис. 3в
2
1,266
рис. 3г
4
1,125
— 8 1,0625
“Оптический журнал”, 79, 11, 2012
Ks
0,0625 0,25 0,25 1 1
K
24 5 5,06 1,125 1
I
2,3 1,16 1,17 0,08 0,04
W 8(m + 1) 16(m + 1) 16(m + 2) 32(m + 1,5) 64(m + 1,5)
71
фоне с экспоненциальной АКФ, хотя и требует больших вычислительных затрат.
Таким образом, происходит уменьшение потери информации о смещении изображения ценой увеличения сложности фильтра. Весовые коэффициенты при этих величинах следует определять с учетом сложности остальной части вычислителя, для широкого диапазона значений которых при выбранном значении = 4 наилучший компромисс между точностью и сложностью обеспечивает фильтр с импульсной характеристикой, показанной на рис. 3г.
5. Разрядность квантователя видеосигнала и результата измерения смещения. При параметрическом синтезе измерителя смещения изображений важен вопрос: какова потеря информации о параметре сдвига из-за равномерного, оптимального с точки зрения информационного риска [15], квантования. Для видеосистемы на кристалле, построенной по рассматриваемому принципу, площадь пиксела измерительной строки на два порядка превосходит площадь пиксела основного фотоприемного массива, что соответствует емкости пиксела Nеm = 106 электронов и более. Для такой емкости пиксела среднее значение дисперсии флуктуационного шума составляет Nem/2, а оптимальное при оценке формы сигнала равномерное квантование [15] требует числа разрядов mo 1/2log(2NemlogNem) = 12. Это значение соответствует внесению дополнительного шума с дисперсией к2в= Nem2 – 2m/12 и коэффициенту шума Kш = (к2в + 2фл)/ф2л, который соответствует потере информации о параметре смещения 0,007 бит при m = 12, 0,1 бит при m = 10 и 0,9 бит при m = 8. Эта потеря информации существенно меньше потери информации о форме сигнала, которая при m = 12 составляет 1/4 бит/пиксел, что для измерительной строки с 103 пикселов составит примерно 250 бит.
Можно показать, что для типового значения интервала корреляции сигнала из 16 пикселов среднеквадратичное значение ошибки измерения смещения составляет 810–3m = = 210–3. Указанное значение ошибки можно рассматривать как среднее по различным сюжетам: смещение изображения с очень плавными изменениями яркости будут измеряться с большими ошибками, смещения изображений с многими перепадами яркости – с меньшими ошибками. Оцененное значение ошибки совмещения должно обеспечить накопление в основном массиве фотоприемных элементов
без потери разрешающей способности, т. е. обеспечить смаз не более s /N1e/2, что для типовых матричных фотоприемников составляет (2–7)10–3. Таким образом, рассмотренная структура и определенные параметры обеспечивают совпадение требуемой и достижимой точности измерения смещения.
Так как рассматриваемая система имеет целью маскировку шумом ошибок, вызванных смазом, можно считать, что априорный интервал возможных сдвигов за время считывания измерительной строки составляет m/2. Тогда оптимальная с точки зрения минимума информационного риска [15] разрядность кода оценки смещения составляет m = log2*(a/), что для приведенного примера составляет 7 разрядов (* обозначает ближайшее большее целое число). Так как потеря полезной информации из-за квантования сигнала при m = 12 чрезвычайно мала, а при m = 8 ведет к недопустимой потере информации (ошибка измерения смещения возрастает в два раза), то компромиссным значением является m = 10, при котором потеря информации о параметре сдвига составляет 0,1 бита из 7. С учетом вариации значения ошибки при вариации статистик изображения на практике рационально использование вычислителя с разрядностью оценки смещения m = 8.
6. Коррелятор является самой сложной частью исследуемой системы измерения смещения сигнала. Будем считать, что априорное значение смещения изображения от измерения к измерению составляет аm, т. е. а пикселов. При этом количество значений вычисляемых коэффициентов корреляции составляет n = 2а* + 1. В прецизионной следящей системе стабилизации изображения частота измерения должна выбираться достаточно большой для того, чтобы смаз изображения не проявлялся. Для этого необходимо, чтобы выполнялось условие а < 1. Вычисления упрощаются, если обеспечивается условие а < 0,5. Отметим, что значение смещения изображения на полпиксела за время кадра было зафиксировано как эмпирическая оценка [1] без учета обработки изображений и стабилизации растра. Малое значение сдвига сигнала за время считывания измерительной строки ведет к необходимости и достаточности вычисления взаимной корреляции в трех точках: с нулевым сдвигом и со сдвигом на пиксел влево и вправо.
Сложность вычисления взаимной корреляции соседних строк во многом связана с опе-
72 “Оптический журнал”, 79, 11, 2012
рацией умножения. Для облегчения аппаратной реализации коррелятора целесообразно перейти от прямого вычисления произведений разных сигналов к более просто организуемой операции возведения в квадрат. Возможность такой реализации определяется известной формулой [16]
{ }M [y(x)- y(x -)]2
=
2K(0)
éëêê1-
K() K(0)
úúûù
.
(1)
При любом из этих способов вычисления корреляции в схему коррелятора входит устройство задержки на строку и три устройства задержки на элемент (рис. 4) с совокупной сложностью (J + 3)m.
Сложность коррелятора при прямом методе вычислений определяется сложностью входящих в него умножителя и накапливающего сумматора
Wк (J + 3)m + 3(m2 + m) + 4(2m + logJ/).
Анализ в пакете Quartus II фирмы Altera для семейства микросхем программируемой логики Cyclone IV GX показывает, что непрямое вычисление корреляции по формуле (1) для принятых выше параметров изображения требует примерно в 2,7 раза меньше вычислительных ресурсов, чем прямое вычисление. Это обусловлено тем, что возведение в квадрат проще, чем умножение, и тем, что благодаря вычитанию коррелированных сигналов умень-
шается разрядность накапливающих сумматоров. При этом общая сложность меньше, чем требуемая для вычисления ВКФ за счет отказа от нормировки накопленных статистик. Такая возможность связана с целью измерения – поиском не функции корреляции изображения, а лишь аргумента ее максимума. Формула (1) изменяет структуру вычислителя (рис. 4), который изменяет смысл формируемых трех статистик: теперь это значения дисперсий разностных сигналов, D–1, D0, D1, разрядность которых 2m + logJ/:
предыдущей строки и сдвинутой на пиксел влево текущей строки D–1,
предыдущей строки и текущей строки D0, предыдущей строки и сдвинутой на пиксел вправо текущей строки D1. 7. Вычислитель-интерполятор по полученным значениям дисперсий D–1, D0, D1 вычисляет значение оценки смещения на основании интерполяции ВКФ при малых смещениях. При использовании параболической интерполяции, корректной при больших значениях отношения размеров кружка рассеяния и элемента накопления r/, формула для оценки смещения имеет вид:
ˆ = m (D-1- D1)/[2(D-1-2D0 + D1)].
Сложность такого интерполятора превышает сложность коррелятора в силу большей разрядности входных сигналов:
Вход
Тст
Тт
Тт
Тт
( )2 ( )2 ( )2
D–1 Тт
D0 Тт
D1 Тт
Рис. 4. Функциональная схема коррелятора c вычислением дисперсий приращений сигналов. “Оптический журнал”, 79, 11, 2012
73
Wи 3((m + logLJ)2 + m + logJ) + 4(2m + logJ).
Разрядность результата m усекается с сохранением 8 двоичных разрядов, обеспечивающих минимум информационного риска, состоящего из потери полезной информации о смещении изображения и шумовой информации.
При малых значениях отношения размеров кружка рассеяния и элемента накопления r/ в силу перехода вида АКФ сигнала от параболического к экспоненциальному меньшие алгоритмические ошибки обеспечивает аппроксимация АКФ на интервале [–, ] полиномом четвертой степени (рис. 2). По полученным трем значениям статистик D–1, D0, D1 полином четвертой степени может быть построен при предварительной калибровке системы с учетом конкретного значения отношения r/ размеров кружка рассеяния и пиксела фотоприемника. Параболическая (степени 2 или 4) интерполяция значений дисперсий D–1, D0, D1 обеспечивает потенциальную точность измерения смещения и, в конечном счете, стабилизацию изображений с маскированием шумом смаза изображения, несмотря на возмущения визирной оси телекамеры.
Освоенные микроэлектроникой топологические нормы точности позволяют реализовать процессор вычисления корреляции с элементами памяти, занимающий площадь порядка десятой части площади всего кристалла, на котором, как и в обычной фотоприемной КМОП матрице, основную часть площади занимает массив фоточувствительных элементов. Для повышения быстродействия вычисления смещения целесообразно использовать распараллеливание считывания сигнала с дополнительных фотоприемных модулей [17].
Заключение
1. Осуществленный структурный и параметрический синтез быстродействующего пре-
цизионного измерителя смещения изображений является приложением новой парадигмы видеоинформатики, которая выдвигает на первый план извлечение максимума полезной информации из потока фотонов при наличии возмущений, а не просто констатирует деградацию разрешения из-за смаза.
2. Рассмотренный метод стабилизации изображений позволяет вплотную приблизиться к теоретическому пределу эффективности – маскированию шумом скоростного смаза (ошибок стабилизации), и открывает путь к реализации СБИС типа видеосистема на кристалле, обеспечивающей формирование изображений без потери разрешающей способности в условиях интенсивных возмущений визирной оси.
3. Прецизионное совмещение изображений в реальном времени – условие стабилизации для неискаженного накопления в прикладном телевидении, а не просто для удобства зрителя – достигается прямым измерением (а не косвенным с датчиками ускорения) с использованием дополнительных фотоприемников, переводящих такую видеосистему на кристалле в класс приборов с множественным потоком данных.
4. Прецизионное измерение смещения изображений должно учитывать квадратичный вид автокорреляционной функции при малых смещениях; в зависимости от соотношения размеров светочувствительного элемента и кружка рассеяния объектива оптимальными могут быть интерполирующие полиномы второй или четвертой степени.
5. Предельное быстродействие и обеспечиваемое им расширение диапазона ускорений парируемых возмущений определяется доступным увеличением площади пиксела вспомогательных линейных приемников; реально использование ширины пиксела на два порядка больше его длины. Это значит, что верхняя граница частоты компенсируемых искажений на два порядка выше кадровой частоты.
*****
ЛИТЕРАТУРА
1. Брацлавец П.Ф., Росселевич И.А., Хромов Л.И. Космическое телевидение. М.: Связь, 1973. 248 с. 2. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. М.: Радио и связь, 1991. 192 с. 3. Рыфтин Я.А. Телевизионная система. Теория. М.: Советское радио, 1967. 271 с.
74 “Оптический журнал”, 79, 11, 2012
4. Бузников А.А., Купянский А.В. Динамическое совмещение полутоновых аэрокосмических и графических изображений. Изв. Вузов, сер. “Геодезия и аэрофотосъемка”. 1993. № 3. С. 102–107.
5. Ушольд А. Системы стабилизации изображения // Foto & Video. 2007. № 7. С. 76–81.
6. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982, кн. 1. 312 с., кн. 2. 480 с.
7. Березин В.В., Манцветов А.А. Система цифровой стабилизации телевизионного изображения // Приборы и техника эксперимента. 1995. В. 6. С. 74–78.
8. Воронцов М.А., Корябин А.В., Шмальгаузен В.И. Управляемые оптические системы. М.: Наука, 1988. 240 с.
9. Еськов Д.Н., Ларионов Ю.П., Новиков В.А. Автоматическая стабилизация оптического изображения / Под ред. Д.Н. Еськова, В.А. Новикова. Л.: Машиностроение, 1988. 240 с.
10. Фахми Ш.С., Цыцулин А.К., Переспелов А.В. Способ стабилизации изображений // Патент России № 2384967. 2010.
11. Yamamoto K., Maeda Yu., Masaki Ya. A CMOS image sensor with high-speed readout of multiple regions-ofinterest for an opto-navigation system // Proc. SPIE. 2005. V. 5677. P. 90–97.
12. Голушко М.Н. Интерполяция дискретного видеосигнала в автоматических телевизионных системах. Техника средств связи, сер. Техника телевидения, 1983. В. 5. С. 63–71.
13. Huertas A., Medioni G. Detection of intensity changes with subpixel accuracy using Laplacian-Gaussian masks // IEEE Transactions on Pattern Analysis and Machine Intelligence. V. 8(5). P. 651–664.
14. Цыцулин А.К. Телевидение и космос. СПбГЭТУ “ЛЭТИ”, 2003.
15. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция и телевидении. М.: Радио и связь, 2006. 312 с.
16. Фрэнкс Л. Теория сигналов. М.: Мир, 1974. 344 с.
17. Березин В.В., Фахми Ш.С., Цыцулин А.К. Начальный этап проектирования видеосистем на кристалле // Оптический журнал. 2012. Т. 79. № 11. С. 76–83.
“Оптический журнал”, 79, 11, 2012
75
СТАБИЛИЗАЦИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ИЗМЕРЕНИЯ ИХ СМЕЩЕНИЯ ПРИ СОВМЕСТНОМ ИСПОЛЬЗОВАНИИ МАТРИЧНОГО И ДВУХ ЛИНЕЙНЫХ ФОТОПРИЕМНИКОВ
© 2012 г. А. К. Цыцулин*, доктор техн. наук; Ш. С. Фахми*, доктор техн. наук; А. А. Манцветов**, канд. техн. наук; Д. О. Малашин**, аспирант; И. А. Зубакин**, канд. техн. наук
** ОАО “Научно-исследовательский институт телевидения”, Санкт-Петербург
** Санкт-Петербургский государственный электротехнический университет “ЛЭТИ” ** им. В.И. Ульянова (Ленина), Санкт-Петербург
** Е-mail: tsytsulin@niitv.ru
Рассмотрен метод построения телекамер, использующих стабилизацию изображения на основе прямого метода измерения смещения изображения относительно матричного фотоприемника за счет использования двух дополнительных ортогональных линейных фотоприемников. Показано, что предложенный подход позволяет при параболической аппроксимации корреляционной функции существенно расширить диапазон скоростей смещения визирной оси, при которых искажения смаза маскируются шумом.
Ключевые слова: стабилизация изображения, смаз, корреляция, множественные потоки данных.
Коды OCIS: 040.1490, 100.4550, 110.4153, 100.2980
Поступила в редакцию 18.06.2012
Важной проблемой видеоинформатики является получение изображений максимального качества при наличии движения изображения. При этом подход к описанию различных видов движения объекта и наблюдателя изменяется в ходе развития технологий и концепций. Можно выделить несколько характерных, перекрывающихся во времени, этапов построения видеоинформационных систем:
учет семантической смены сюжета или так называемая концепция малокадрового телевидения, предложенная С.И. Катаевым и вошедшая в практику космического телевидения [1]. Позже она получила развитие в виде адаптации кадровой частоты к динамике сюжета для максимизации количества информации в кадре [2],
учет влияния подвижности изображения на разрешающую способность телевизионной системы [3], в том числе при наблюдении Земли из космоса [4], что позволило формализовать требования к стабилизаторам изображений, в частности, в современных цифровых фотоаппаратах, где реализуются косвенные методы оценки возмущения визирной оси с помощью датчиков ускорений [5],
обработка изображений для компенсации смаза [6], выдвинувшая дополнительные требования к программно-аппаратным средствам обработки видеосигнала в реальном времени,
электронная стабилизация изображения для облегчения работы оператора, не учитывающая потери информации из-за смаза и использующая прямой метод оценки возмущений, но эффективная при медленных возмущениях [7],
адаптивная оптика, позволяющая компенсировать возмущения турбулентной атмосферы благодаря использованию нескольких подвижных сегментов зеркала [8],
электромеханическая стабилизация изображения в астрономии, использующая прямой метод оценки медленных возмущений по ограниченному набору изображений при наличии в поле зрения опорной звезды с яркостью, на порядки большей, чем у исследуемой звезды в основном поле [9],
электромеханическая стабилизация изображения, использующая прямой метод оценки быстрых возмущений по широкому классу изображений. Запас энергии, необходимый при
“Оптический журнал”, 79, 11, 2012
67
скоростном считывании сигнала, достигается не за счет яркости объектов, а за счет площади вспомогательного изображения [10].
В широкой проблематике учета движения изображений в данной статье выделим частную, но актуальную задачу компенсации смаза изображения, вызываемого колебаниями визирной оси телекамеры при воздействии механических возмущений типа вибрации основания. Данная статья посвящена синтезу структуры и параметров телекамеры, реализующей прямой метод оценки возмущений [10]. Прямой метод измерения смещения может быть реализован, если наблюдаемый сюжет содержит объекты с неравномерной яркостью как в центральном поле, так и на его периферии. Требование совмещения изображений в реальном времени ведет к необходимости использования прямого метода измерения смещения изображений, например, за счет введения в фокальную плоскость кроме основного матричного фотоприемника двух дополнительных линейных фотоприемников (рис. 1). При
этом дополнительные линейные массивы могут быть сформированы как топологически, так и виртуально, программным способом выделения из общего массива фоточувствительных элементов [11]. С точки зрения компьютерной системотехники этот метод переводит твердотельную телекамеру в новый класс приборов с множественным потоком данных, способствующим извлечению информации с минимальными вычислительными затратами и задержками. Благодаря тому, что количество элементов и время считывания сигнала с дополнительных линейных фотоприемников на два порядка меньше количества элементов и времени считывания всего кадра основного массива, достигается основной положительный эффект рассматриваемого метода, состоящий в расширении на два порядка диапазона скоростей компенсируемого смаза из-за возмущений визирной оси.
На рис. 1 показано, что размеры и форма пикселов вспомогательных линейных фотоприемников отличаются от таковых для основно-
Линейный фотоприемник 1
Объектив
Фотоприемный модуль Объектив
Выход видеосигнала
Подвижный элемент Блок
управления
Линейный фотоприемник 2
Измеритель смещения
Режекторный Режекторный
фильтр
фильтр
Задержка на строку
Задержка на строку
Коррелятор Коррелятор
Интерполятор Интерполятор
b
m
Рис. 1. Функциональная схема системы стабилизации изображения c прямым измерением смещения изображений дополнительными линейными фотоприемниками.
68 “Оптический журнал”, 79, 11, 2012
го массива. Размер пиксела вспомогательного фотоприемника m по стороне, примыкающей к основному массиву, делается меньше размера пиксела основного фотоприемника. Размер пиксела вспомогательного линейного фотоприемника в ортогональном направлении b делается существенно больше размера пиксела основного фотоприемника. Эти различия обусловлены необходимостью повышения точности измерения смещения изображения при времени накопления Тс во вспомогательных фотоприемниках, много меньшем времени кадра Тк основного фотоприемника. Существенно большая площадь пиксела измерительной строки bm по сравнению с площадью пиксела основной матрицы 2 при равенстве удельной емкости с, вычисляемой в электронах на единицу площади, обеспечивает необходимый для повышения частоты считывания запас накопительной способности пикселов: ТкNe = c2 ТсNem = cbm. Различие в режимах управления чувствительностью в трактах обработки видеоинформации основного массива и во вспомогательных линейных фотоприемниках состоит в том, что в основном массиве чрезмерное увеличение освещенности компенсируется уменьшением времени накопления системой автоматического регулирования времени накопления (АРВН) при постоянной частоте кадров, а во вспомогательных линейных фотоприемниках целесообразно повышение строчной частоты при времени накопления, равном времени строки.
Оптимальная структура измерителя смещения изображений, показанного на рис. 1, включает:
режекторный фильтр (декоррелятор сигнала) для контрастирования взаимнокорреляционнной функции (ВКФ) [6],
коррелятор – вычислитель ВКФ для дискретных значений сдвига на целое число пикселов [6],
интерполятор – вычислитель смещения, как целочисленного относительно пикселов изображения [6], так и дробного (субпиксельная точность измерения) [12, 13].
Эти три блока могут проектироваться как самостоятельные СФ-блоки, и система в целом может быть реализована как видеосистема на кристалле. Сложность вычислителя, определяемая сложностью трех указанных блоков, зависит от исходных параметров сигнала и телекамеры, и выбранными параметрами этих блоков.
Структурный синтез системы стабилизации изображения подчинен цели такой скоростной компенсации возмущений визирной оси, чтобы ошибки стабилизации маскировались шумом изображения. Структурный и параметрический синтез входящего в систему стабилизации вычислителя подчинен цели достижения потенциальной точности оценки смещения изображения в системе стабилизации с дополнительными линейными фотоприемниками при следующей опорной триаде синтеза:
1. Априорная информация о типовых изображениях, формируемых фотоприемными массивами телекамеры:
телекамера с кадровым периодом Тк формирует последовательность сигналов изображения основного массива NN квадратных пикселов площадью и две дополнительные последовательности yi и yi с ортогональных линейных массивов по J пикселов каждый, с размерами bm; время считывания Тс этих строк существенно меньше времени кадра Тк основного массива: Тк >> Тс,
диаметр характеристики объектива (функции рассеяния точки или “кружка рассеяния”) согласован с размером пиксела основного массива,
автокорреляционная функция (АКФ) оптических изображений, анализируемых линейными фотоприемниками, при достаточно больших аргументах в силу свойств наблюдаемых сюжетов моделируется экспоненциальной функцией K(x) = K(0)exp(–|x|/) с интервалом корреляции J >> >> ,
АКФ оптических изображений (до дискретизации линейными фотоприемниками) в силу свертки оптического сигнала с импульсной характеристикой объектива hоб exp(–x2/2r2) с эффективным диаметром 2r, при малых аргументах x описывается не линейной функцией, как принято в [6], а более сложной функцией (расчет [12] показывает зависимость формы АКФ от отношения r/ и отношения сигнал/ шум). Из эксперимента следует, что АКФ при малых аргументах описывается квадратичной функцией (рис. 2),
в первом приближении, при наличии некоторого среднего фона можно считать, что все сигналы наблюдаются в присутствии белого (некоррелированного) гауссовского шума i (шума фона и шума считывания), т. е. наблюдению доступны сигналы yi = si + i.
2. Критерий качества: минимум искажений смаза в сигнале изображения, формируемом
“Оптический журнал”, 79, 11, 2012
69
1 (а)
0,99
1 0,98 2
0,97
0,96
0,95
0,94
0,93 –1 –0,8 –0,6 –0,4 –0,2 0
0,2 0,4 0,6 0,8
1
1 (б)
0,8
1 0,6 2
0,4
0,2
0
–0,2
–0,4 –1 –0,8 –0,6 –0,4 –0,2 0
0,2 0,4 0,6 0,8
1
Рис. 2. Автокорреляционные функции изображения по результатам эксперимента при r/ < 1 до контрастирования режекторным фильтром (а) и после контрастирования (б) при аппроксимации дискретных замеров (показаны точками на рисунке) кривой 2-го (1) и 4-го порядков (2).
основным фотоприемным массивом, достигается при:
максимально возможной частоте считывания с вспомогательных линейных фотоприемников,
минимуме среднеквадратичной ошибки измерения смещения сигналов соседних строк вспомогательными линейными фотоприемниками.
3. Ограничения: сложность вычислителя смещения изображения, стабильность вычислений, необходимость реализации вычислителя в виде отдельной цифровой СБИС или в виде СФ-блоков, которые могут быть включены в состав видеосистемы на кристалле. Варьируемыми (искомыми) параметрами являются:
размер пиксела измерительной строки, разрядность АЦП, число членов импульсной характеристики режекторного фильтра, алгоритм вычисления корреляции и его сложность, алгоритм интерполяции и его сложность. При нахождении размеров пиксела измерительной строки введем отношение = /m. Аналитически найти оптимальное значение трудно, так как формально ошибка измерения смещения (с учетом интерполяции взаимнокорреляционной функции ВКФ) не зависит от в силу взаимно компенсирующего влияния емкости пикселов Nem и их числа J в измерительной строке. Вместе с тем достижимая точность измерения связана с методологической ошибкой интерполяции ВКФ: чем меньше , тем устойчивее система к отклонениям
АКФ реальных сигналов от принятой модели. С другой стороны, уменьшение ведет к возрастанию сложности вычислителя, его быстродействия и тепловыделения, а также к необходимости использования более дорогостоящей технологии изготовления с лучшими топологическими нормами. Поэтому приходится находить компромиссное значение и можно прогнозировать, что оно должно лежать в интервале 2–5.
Для выбора оптимальных параметров сначала зафиксируем связь сложности блоков с разрядностью m АЦП сигналов вспомогательных линейных фотоприемников.
4. Предварительная фильтрация с помощью режекторных фильтров обеспечивает не только известное [6] обострение ВКФ, но и способствует уменьшению сложности накапливающего сумматора вычислителя ВКФ пропорционально log2/m.
Основными требованиями к режекторному фильтру, обеспечивающему обострение ВКФ при отсутствии смещения оценки, является симметрия импульсной характеристики hk и равенство нулю суммы всех ее членов
åk=l
hk = 0 ; h0 = 1; hk= 0 при k > l.
k=-l
Синтез импульсной характеристики режекторного фильтра опирается на критерий минимума функционала, включающего взвешенную сумму потери полезной информации I об измеряемом параметре сдвига и сложности фильтра W [14]. Потеря полезной информации связана с коэффициентом изменения отношения
70 “Оптический журнал”, 79, 11, 2012
сигнал/шум K = Kш/Ks из-за роста мощности шума на выходе фильтра пропорционально
коэффициенту шума
åk=¥
Kø =
hk2
k=-¥
и возможного уменьшения энергии сигнала одноэлементных фрагментов и перепадов яркости, в первом приближении определяемого отношением полуширины импульсной характеристики фильтра к длительности фронта видеоимпульса Ks = [min{l/; 1}]2. Это означает, что в рассматриваемой системе полуширина l импульсной характеристики режекторного фильтра должна быть не менее отношения размеров пиксела основного и вспомогателього фотоприемников.
При оценке сложности блоков вычислителя смещения изображений будем считать, что
сложность характеризуется числом вентилей,
минимальная сложность ячейки памяти – два вентиля,
минимальная сложность полного одноразрядного сумматора – пять вентилей.
При оценке сложности режекторного фильтра можно считать, что она определяется только требуемыми элементами задержки со слож-
ностью 4lm и 2l сумматорами со сложностью 4(m + l), так как применяется только умножение на целочисленные степени числа 2–1 (1/2,
1/4, 1/8, …), осуществляемое простым сдвигом
кода, ведущим к увеличению разрядности кода на l. При количественной оценке параметров далее будем полагать = 4.
Простейшим фильтром, отвечающим по-
ставленным условиям, является фильтр с импульсной характеристикой {h–1 = –1/2; h0 = 1, h1 = –1/2} (рис. 3а). Этот фильтр, известный в радиолокации как черезпериодный компен-
сатор второго порядка, рекомендуется к при-
менению в задаче обострения ВКФ [6]. Так как применение этого фильтра при > 1 ведет к за-
метной потере информации, необходимо обра-
титься к фильтрам с большим числом членов
импульсной характеристики, примеры кото-
рых показаны на рис. 3б–3г, а параметры све-
дены в таблице. Эти фильтры имеют следую-
щие импульсные характеристики: рис. 3б: {h–2 = h–1 = h1 = h2 = –1/4; h0 = 1}, рис. 3в: {h–1 = h1 = –0,3125; h–2 = h2 = – 0,1875;
h0 = 1}, рис. 3г: {h–4 = h–3 = h–2 = h–1 = h1 = h2 = h3 =
= h4= –1/8; h0 = 1}. Фильтр на pис. 3в является оптимальным
для обнаружения одноэлементных сигналов на
(а)
Kш = 1,5 W = 8(m + 1)
(г)
Kш = 1,125 W = 32(m + 1,5)
(б)
Kш = 1,25 W = 16(m + 1)
(в)
Kш = 1,266 W = 16(m + 2)
Рис. 3. Импульсные характеристики режекторных фильтров и их параметры.
Параметры режекторных фильтров
Фильтр
l
Kш
рис. 3а
1
1,5
рис. 3б
2
1,25
рис. 3в
2
1,266
рис. 3г
4
1,125
— 8 1,0625
“Оптический журнал”, 79, 11, 2012
Ks
0,0625 0,25 0,25 1 1
K
24 5 5,06 1,125 1
I
2,3 1,16 1,17 0,08 0,04
W 8(m + 1) 16(m + 1) 16(m + 2) 32(m + 1,5) 64(m + 1,5)
71
фоне с экспоненциальной АКФ, хотя и требует больших вычислительных затрат.
Таким образом, происходит уменьшение потери информации о смещении изображения ценой увеличения сложности фильтра. Весовые коэффициенты при этих величинах следует определять с учетом сложности остальной части вычислителя, для широкого диапазона значений которых при выбранном значении = 4 наилучший компромисс между точностью и сложностью обеспечивает фильтр с импульсной характеристикой, показанной на рис. 3г.
5. Разрядность квантователя видеосигнала и результата измерения смещения. При параметрическом синтезе измерителя смещения изображений важен вопрос: какова потеря информации о параметре сдвига из-за равномерного, оптимального с точки зрения информационного риска [15], квантования. Для видеосистемы на кристалле, построенной по рассматриваемому принципу, площадь пиксела измерительной строки на два порядка превосходит площадь пиксела основного фотоприемного массива, что соответствует емкости пиксела Nеm = 106 электронов и более. Для такой емкости пиксела среднее значение дисперсии флуктуационного шума составляет Nem/2, а оптимальное при оценке формы сигнала равномерное квантование [15] требует числа разрядов mo 1/2log(2NemlogNem) = 12. Это значение соответствует внесению дополнительного шума с дисперсией к2в= Nem2 – 2m/12 и коэффициенту шума Kш = (к2в + 2фл)/ф2л, который соответствует потере информации о параметре смещения 0,007 бит при m = 12, 0,1 бит при m = 10 и 0,9 бит при m = 8. Эта потеря информации существенно меньше потери информации о форме сигнала, которая при m = 12 составляет 1/4 бит/пиксел, что для измерительной строки с 103 пикселов составит примерно 250 бит.
Можно показать, что для типового значения интервала корреляции сигнала из 16 пикселов среднеквадратичное значение ошибки измерения смещения составляет 810–3m = = 210–3. Указанное значение ошибки можно рассматривать как среднее по различным сюжетам: смещение изображения с очень плавными изменениями яркости будут измеряться с большими ошибками, смещения изображений с многими перепадами яркости – с меньшими ошибками. Оцененное значение ошибки совмещения должно обеспечить накопление в основном массиве фотоприемных элементов
без потери разрешающей способности, т. е. обеспечить смаз не более s /N1e/2, что для типовых матричных фотоприемников составляет (2–7)10–3. Таким образом, рассмотренная структура и определенные параметры обеспечивают совпадение требуемой и достижимой точности измерения смещения.
Так как рассматриваемая система имеет целью маскировку шумом ошибок, вызванных смазом, можно считать, что априорный интервал возможных сдвигов за время считывания измерительной строки составляет m/2. Тогда оптимальная с точки зрения минимума информационного риска [15] разрядность кода оценки смещения составляет m = log2*(a/), что для приведенного примера составляет 7 разрядов (* обозначает ближайшее большее целое число). Так как потеря полезной информации из-за квантования сигнала при m = 12 чрезвычайно мала, а при m = 8 ведет к недопустимой потере информации (ошибка измерения смещения возрастает в два раза), то компромиссным значением является m = 10, при котором потеря информации о параметре сдвига составляет 0,1 бита из 7. С учетом вариации значения ошибки при вариации статистик изображения на практике рационально использование вычислителя с разрядностью оценки смещения m = 8.
6. Коррелятор является самой сложной частью исследуемой системы измерения смещения сигнала. Будем считать, что априорное значение смещения изображения от измерения к измерению составляет аm, т. е. а пикселов. При этом количество значений вычисляемых коэффициентов корреляции составляет n = 2а* + 1. В прецизионной следящей системе стабилизации изображения частота измерения должна выбираться достаточно большой для того, чтобы смаз изображения не проявлялся. Для этого необходимо, чтобы выполнялось условие а < 1. Вычисления упрощаются, если обеспечивается условие а < 0,5. Отметим, что значение смещения изображения на полпиксела за время кадра было зафиксировано как эмпирическая оценка [1] без учета обработки изображений и стабилизации растра. Малое значение сдвига сигнала за время считывания измерительной строки ведет к необходимости и достаточности вычисления взаимной корреляции в трех точках: с нулевым сдвигом и со сдвигом на пиксел влево и вправо.
Сложность вычисления взаимной корреляции соседних строк во многом связана с опе-
72 “Оптический журнал”, 79, 11, 2012
рацией умножения. Для облегчения аппаратной реализации коррелятора целесообразно перейти от прямого вычисления произведений разных сигналов к более просто организуемой операции возведения в квадрат. Возможность такой реализации определяется известной формулой [16]
{ }M [y(x)- y(x -)]2
=
2K(0)
éëêê1-
K() K(0)
úúûù
.
(1)
При любом из этих способов вычисления корреляции в схему коррелятора входит устройство задержки на строку и три устройства задержки на элемент (рис. 4) с совокупной сложностью (J + 3)m.
Сложность коррелятора при прямом методе вычислений определяется сложностью входящих в него умножителя и накапливающего сумматора
Wк (J + 3)m + 3(m2 + m) + 4(2m + logJ/).
Анализ в пакете Quartus II фирмы Altera для семейства микросхем программируемой логики Cyclone IV GX показывает, что непрямое вычисление корреляции по формуле (1) для принятых выше параметров изображения требует примерно в 2,7 раза меньше вычислительных ресурсов, чем прямое вычисление. Это обусловлено тем, что возведение в квадрат проще, чем умножение, и тем, что благодаря вычитанию коррелированных сигналов умень-
шается разрядность накапливающих сумматоров. При этом общая сложность меньше, чем требуемая для вычисления ВКФ за счет отказа от нормировки накопленных статистик. Такая возможность связана с целью измерения – поиском не функции корреляции изображения, а лишь аргумента ее максимума. Формула (1) изменяет структуру вычислителя (рис. 4), который изменяет смысл формируемых трех статистик: теперь это значения дисперсий разностных сигналов, D–1, D0, D1, разрядность которых 2m + logJ/:
предыдущей строки и сдвинутой на пиксел влево текущей строки D–1,
предыдущей строки и текущей строки D0, предыдущей строки и сдвинутой на пиксел вправо текущей строки D1. 7. Вычислитель-интерполятор по полученным значениям дисперсий D–1, D0, D1 вычисляет значение оценки смещения на основании интерполяции ВКФ при малых смещениях. При использовании параболической интерполяции, корректной при больших значениях отношения размеров кружка рассеяния и элемента накопления r/, формула для оценки смещения имеет вид:
ˆ = m (D-1- D1)/[2(D-1-2D0 + D1)].
Сложность такого интерполятора превышает сложность коррелятора в силу большей разрядности входных сигналов:
Вход
Тст
Тт
Тт
Тт
( )2 ( )2 ( )2
D–1 Тт
D0 Тт
D1 Тт
Рис. 4. Функциональная схема коррелятора c вычислением дисперсий приращений сигналов. “Оптический журнал”, 79, 11, 2012
73
Wи 3((m + logLJ)2 + m + logJ) + 4(2m + logJ).
Разрядность результата m усекается с сохранением 8 двоичных разрядов, обеспечивающих минимум информационного риска, состоящего из потери полезной информации о смещении изображения и шумовой информации.
При малых значениях отношения размеров кружка рассеяния и элемента накопления r/ в силу перехода вида АКФ сигнала от параболического к экспоненциальному меньшие алгоритмические ошибки обеспечивает аппроксимация АКФ на интервале [–, ] полиномом четвертой степени (рис. 2). По полученным трем значениям статистик D–1, D0, D1 полином четвертой степени может быть построен при предварительной калибровке системы с учетом конкретного значения отношения r/ размеров кружка рассеяния и пиксела фотоприемника. Параболическая (степени 2 или 4) интерполяция значений дисперсий D–1, D0, D1 обеспечивает потенциальную точность измерения смещения и, в конечном счете, стабилизацию изображений с маскированием шумом смаза изображения, несмотря на возмущения визирной оси телекамеры.
Освоенные микроэлектроникой топологические нормы точности позволяют реализовать процессор вычисления корреляции с элементами памяти, занимающий площадь порядка десятой части площади всего кристалла, на котором, как и в обычной фотоприемной КМОП матрице, основную часть площади занимает массив фоточувствительных элементов. Для повышения быстродействия вычисления смещения целесообразно использовать распараллеливание считывания сигнала с дополнительных фотоприемных модулей [17].
Заключение
1. Осуществленный структурный и параметрический синтез быстродействующего пре-
цизионного измерителя смещения изображений является приложением новой парадигмы видеоинформатики, которая выдвигает на первый план извлечение максимума полезной информации из потока фотонов при наличии возмущений, а не просто констатирует деградацию разрешения из-за смаза.
2. Рассмотренный метод стабилизации изображений позволяет вплотную приблизиться к теоретическому пределу эффективности – маскированию шумом скоростного смаза (ошибок стабилизации), и открывает путь к реализации СБИС типа видеосистема на кристалле, обеспечивающей формирование изображений без потери разрешающей способности в условиях интенсивных возмущений визирной оси.
3. Прецизионное совмещение изображений в реальном времени – условие стабилизации для неискаженного накопления в прикладном телевидении, а не просто для удобства зрителя – достигается прямым измерением (а не косвенным с датчиками ускорения) с использованием дополнительных фотоприемников, переводящих такую видеосистему на кристалле в класс приборов с множественным потоком данных.
4. Прецизионное измерение смещения изображений должно учитывать квадратичный вид автокорреляционной функции при малых смещениях; в зависимости от соотношения размеров светочувствительного элемента и кружка рассеяния объектива оптимальными могут быть интерполирующие полиномы второй или четвертой степени.
5. Предельное быстродействие и обеспечиваемое им расширение диапазона ускорений парируемых возмущений определяется доступным увеличением площади пиксела вспомогательных линейных приемников; реально использование ширины пиксела на два порядка больше его длины. Это значит, что верхняя граница частоты компенсируемых искажений на два порядка выше кадровой частоты.
*****
ЛИТЕРАТУРА
1. Брацлавец П.Ф., Росселевич И.А., Хромов Л.И. Космическое телевидение. М.: Связь, 1973. 248 с. 2. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. М.: Радио и связь, 1991. 192 с. 3. Рыфтин Я.А. Телевизионная система. Теория. М.: Советское радио, 1967. 271 с.
74 “Оптический журнал”, 79, 11, 2012
4. Бузников А.А., Купянский А.В. Динамическое совмещение полутоновых аэрокосмических и графических изображений. Изв. Вузов, сер. “Геодезия и аэрофотосъемка”. 1993. № 3. С. 102–107.
5. Ушольд А. Системы стабилизации изображения // Foto & Video. 2007. № 7. С. 76–81.
6. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982, кн. 1. 312 с., кн. 2. 480 с.
7. Березин В.В., Манцветов А.А. Система цифровой стабилизации телевизионного изображения // Приборы и техника эксперимента. 1995. В. 6. С. 74–78.
8. Воронцов М.А., Корябин А.В., Шмальгаузен В.И. Управляемые оптические системы. М.: Наука, 1988. 240 с.
9. Еськов Д.Н., Ларионов Ю.П., Новиков В.А. Автоматическая стабилизация оптического изображения / Под ред. Д.Н. Еськова, В.А. Новикова. Л.: Машиностроение, 1988. 240 с.
10. Фахми Ш.С., Цыцулин А.К., Переспелов А.В. Способ стабилизации изображений // Патент России № 2384967. 2010.
11. Yamamoto K., Maeda Yu., Masaki Ya. A CMOS image sensor with high-speed readout of multiple regions-ofinterest for an opto-navigation system // Proc. SPIE. 2005. V. 5677. P. 90–97.
12. Голушко М.Н. Интерполяция дискретного видеосигнала в автоматических телевизионных системах. Техника средств связи, сер. Техника телевидения, 1983. В. 5. С. 63–71.
13. Huertas A., Medioni G. Detection of intensity changes with subpixel accuracy using Laplacian-Gaussian masks // IEEE Transactions on Pattern Analysis and Machine Intelligence. V. 8(5). P. 651–664.
14. Цыцулин А.К. Телевидение и космос. СПбГЭТУ “ЛЭТИ”, 2003.
15. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция и телевидении. М.: Радио и связь, 2006. 312 с.
16. Фрэнкс Л. Теория сигналов. М.: Мир, 1974. 344 с.
17. Березин В.В., Фахми Ш.С., Цыцулин А.К. Начальный этап проектирования видеосистем на кристалле // Оптический журнал. 2012. Т. 79. № 11. С. 76–83.
“Оптический журнал”, 79, 11, 2012
75