Например, Бобцов

ИССЛЕДОВАНИЕ МЕТОДА СПЕКТРОЗОНАЛЬНОЙ СЕЛЕКЦИИ ПРИ ПЕРЕКРЕСТНЫХ СВЯЗЯХ В КАНАЛАХ ЦВЕТОВЫХ ВИДЕОКАМЕР

Исследование метода спектрозональной селекции

17
УДК 681.78

А. А. МАРАЕВ, А. Н. ТИМОФЕЕВ, С. Н. ЯРЫШЕВ
ИССЛЕДОВАНИЕ МЕТОДА СПЕКТРОЗОНАЛЬНОЙ СЕЛЕКЦИИ ПРИ ПЕРЕКРЕСТНЫХ СВЯЗЯХ В КАНАЛАХ ЦВЕТОВЫХ ВИДЕОКАМЕР
Предложены алгоритмы обработки спектрозональных изображений на едином матричном поле анализа с учетом перекрестных связей между элементами оптико-электронной системы предупреждения техногенных катастроф по пространственному положению элементов конструкции. Предложенный способ спектрозональных измерений координат активных реперных меток в поле зрения единого цветового матричного фотоприемника позволяет учитывать воздействие градиента температур воздушного тракта на процесс контроля оптикоэлектронной системы.
Ключевые слова: спектрозональный метод, оптико-электронная система, оценки координат изображений меток.
Для предупреждения техногенных катастроф возможно применять распределенные оптико-электронные системы (РОЭС) долговременного и оперативного контроля по пространственному положению элементов [1, 2], поскольку обследования технического состояния и экспертизы промышленной безопасности подавляющего большинства зданий и сооружений проводятся нерегулярно.
Использование РОЭС с многоэлементными фотоприемниками (МФП) имеет целый ряд преимуществ по сравнению с использованием остальных методов измерения координат. Погрешность таких измерителей достигает 0,05 от шага элемента фотоприемной многоэлементной структуры [3]. Помимо того, комплексирование информации по длине волны оптического излучения в многоканальных РОЭС с МФП [4] позволяет повысить эффективность работы систем такого класса.
В современных РОЭС существенное влияние на результат контроля оказывает среда распространения оптического излучения. Прежде всего, величина погрешности измерений зависит от таких явлений в атмосфере, как рефракция и турбулентность воздушного тракта. Рефракция вызывает систематическое отклонение направления распространения оптического излучения, в основном вследствие температурного градиента показателя преломления воздуха. Одним из способов уменьшения влияния рефракции является использование принципа спектрозональной селекции [5].
Целью настоящей работы является исследование возможности реализации спектрозонального метода при контроле пространственного положения активных реперных меток (РМ) РОЭС [1, 2] на МФП с учетом перекрестных связей между цветовыми фотоприемными матричными полями.
Наиболее доступным вариантом для реализации спектрозональной селекции является применение видеокамеры, каналы которой соответствуют трем основным цветам системы RGB [2]. В соответствии с шаблоном Байера три основных цвета формируют три спектрозональных канала RGB, информация с которых может быть снята с фотоприемника независимо друг от друга, так как каналы „обслуживаются“ независимыми группами пикселов. На рис. 1 представлены кривые (4—6) спектральной плотности Sλ фоточувствительности пикселов соответственно для RGB составляющих (КМОП матрицы OV561) и 1—3 — спектральных составляющих яркости характерного RGB ПИД. Кривая 6 (рис. 1) спектральной плотности фоточувствительности пикселов синей (B) области спектра пересекается с областью чувствительности красных (R) полупроводниковых излучающих диодов (ПИД), в то время как кривая 3

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4

18 А. А. Мараев, А. Н. Тимофеев, С. Н. Ярышев

спектральной области излучательной способности синих (B) ПИД не пересекается с кривой 1 красных. При обработке изображений РМ, реализованных белыми ПИД в разных спектральных диапазонах, между каналами возникают перекрестные связи, которые обусловливают выбор специальных алгоритмов обработки этих изображений РМ.
Sλ, мВ/Вт

160 1

45

2 120

80 3 40

6

0 400

500 600

700

Рис. 1

800 900 1000 λ, нм

На рис. 2 продемонстрировано пространственное расположение изображений синей 1 и красной 2 РМ на синих и красных матричных полях фоточувствительных элементов единой приемной матрицы при наличии вертикального градиента температуры в воздушном тракте: а — расположение синих полей, б — расположение красных полей. В соответствии с расположением элементов байеровского шаблона для матричного фотоприемника синие пикселы занимают нечетные номера элементов матричного поля и располагаются в нечетных строках (рис. 2, а); красные пикселы занимают четные номера элементов и располагаются в четных строках (рис. 2, б).

а) 0
Pby
YbbЦЭ

Pbx XbЦЭ

xi

X

б) 0

XrЦЭ ∆rx Prx

∆rx

YrbЦЭ

Pry YrrЦЭ

xi X YbrЦЭ

yi yi

Y 12

Y Рис. 2

12

Шаг синих элементов Pbx и Pby по координатам 0X и 0Y в два раза больше шага матричного поля xi и yi по соответствующим координатам.
Для адекватной оценки координат изображения малоразмерного объекта методом опреде-
ления энергетического центра (ЭЦ) тяжести требуется, чтобы линейные размеры изображе-
ния РМ составляли не менее 4—5 размеров элемента (пиксела) [3]. В этом случае вычисление
оценки координат центра синего (B) изображения РМ Xbb ЦЭ и Ybb ЦЭ (рис. 2, а) для синей области спектра МФП можно производить по формулам:

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4

Исследование метода спектрозональной селекции

19

i=N i=M

∑ ∑∑ ∑ ∑∑[ ] [ ]Xbb ЦЭ

=

2 M

j=M j =0

Qi (xi ) xi
i=0 i=N
Qi (xi )

;

Ybb ЦЭ

=

2 N

j=N j=0

Qi ( yi ) yi
i=0 i=M
Qi ( yi )

,

i=0 i=0

(1)

где xi, yj — координаты элементов, входящих в окрестность М×N; M, N — величина окрестности, содержащей изображение РМ (для квадратных областей M=N); Qj(yj) — суммарный сигнал с элементов, входящих в окрестность j-й строки; Qi(xi) — суммарный сигнал с элементов, входящих в окрестность М×N, i-го столбца.
Для красного канала шаг элементов Prx и Pry (рис. 2, б), так же как и в синем канале, по координатам 0X и 0Y будет в два раза больше шага матричного поля xi и yi по соответствующим координатам.
В этом случае вычисление оценки координат центра красного изображения РМ Xrr ЦЭ и Yrr ЦЭ для используемой системы координат 0XY в красной области спектра МФП можно производить по аналогичным формулам синего канала:

i=N i=M

∑ ∑∑ ∑ ∑∑[ ] [ ]Xrr

ЦЭ

=

∆rx

+

2 M

j=M Qi (xi ) xi
i=0 i=N
j=0 Qi (xi )

;

Yrr

ЦЭ

=

∆ ry

+

2 N

j=N j=0

Qi ( yi ) yi
i=0 i=M
Qi ( yi )

,

i=0 i=0

(2)

где ∆rx и ∆ry — горизонтальная и вертикальная поправки в красном канале видеокамеры. При наличии градиента воздушного тракта для матричного поля синих элементов изо-
бражения синей и красной областей излучения РМ будут смещены друг относительно друга
(рис. 2, а). Для этого случая в алгоритме энергетического взвешивания изображений РМ на
синем матричном поле координаты общего энергетического центра XоbЦЭ и YоbЦЭ будут определяться выражениями:

i=N j=M

∑ ∑∑ ∑ ∑∑[ [ ] ]Xоb ЦЭ

=

2 M

j=M j =0

Qib (xi ) xi + Qir (xi ) xi
i=0 i=N
Qib (xi ) + Qir (xi )

; Yob

ЦЭ

=

2 N

i=N i=0

⎡⎣Q jb ( yi ) yi + Q jr ( y j ) y j ⎤⎦

i=0 j=M

, (3)

⎣⎡Q jb ( y j ) + Q jr ( y j ) ⎤⎦

i=0 i=0

где XоbЦЭ, YоbЦЭ — координаты общего энергетического центра изображений R и G РМ на синем поле; xi, yj — координаты элементов, входящих в окрестность М×N; Qjb(хi), Qjr(хi) — суммарный сигнал с элементов, входящих в окрестность М×N, j-й строки синих и красных элементов матрицы.
В то же время в алгоритме энергетического взвешивания изображений РМ на красном матричном поле координаты общего энергетического центра XоrЦЭ (рис. 2, б) и YоrЦЭ будут определяться как

i=N

∑ ∑∑[ [ ] ]Xоr ЦЭ

2 = ∆rx + M

j=M j=0

Qib (xi ) xi + Qir (xi ) xi
i=0 i=N
Qib (xi ) + Qir (xi )

;

i=0

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4

20 А. А. Мараев, А. Н. Тимофеев, С. Н. Ярышев

j=M

∑ ∑∑Yor

ЦЭ

=

∆ry

+

2 N

i=N i=0

⎣⎡Q jb ( yi ) yi + Q jr ( y j ) y j ⎦⎤

i=0 j=M

,

⎣⎡Q jb ( y j ) + Q jr ( y j ) ⎤⎦

i=0

(4)

где XоrЦЭ, YоrЦЭ — координаты общего энергетического центра изображений R и В РМ на красном матричном поле.

Для определения величины вертикального градиента температуры воздушного тракта

необходимо вычислить разность положений энергетических центров синего и красного изо-

бражения РМ:

∆Yrb = Ybb ЦЭ – Yrr ЦЭ.

(5)

Величину ∆Yrb выражают через регистрируемые координаты YоbЦЭ (3) изображения РМ на синем матричном поле и координаты YоrЦЭ (4) изображения РМ на красном матричном поле с учетом коэффициентов перекрестной связи Krb и Kbr между синими и красными матричными полями.

Пусть уровни освещенности в изображениях синих и красных РМ отличаются в kbr раз, т.е. kbr = Qbb i / Qrr i,
где Qbbi — значение освещенности в i-м элементе изображения синей РМ; Qrri — максимальное значение освещенности в i-м элементе изображения красной РМ. Тогда зависимость ко-

ординаты положения энергетического центра Yb ЦЭ от регистрируемых координат положения

энергетических центров YоbЦЭ и YоrЦЭ для синего изображения РМ в синем канале видеокаме-

ры с учетом коэффициентов влияния перекрестных связей Krb, Kbr и kbr будет

YbЦЭ=[YоbЦЭ(Krb/kbr +1) – YоrЦЭ Krb(Kbr + 1)]/(1 – Krb Kbr),

(6)

а зависимость координаты положения энергетического центра Yr ЦЭ от регистрируемых коор-

динат положения энергетических центров Yоb ЦЭ и Yоr ЦЭ для красного изображения РМ в

красном канале видеокамеры будет:

Yr ЦЭ =[YоrЦЭ (1+ kbr Kbr) – YоbЦЭ Kbr (kbr + Krb )]/(1–Kbr Krb).

(7)

Тогда c учетом выражений (6) и (7) спектрозональная разность ∆Yrb будет:

∆Yrb=(YоrЦЭ[(1+kbrKbr)+Krb(Kbr+1)] – YоbЦЭ[Kbr(кbr+Krb)+(Krb/kbr+1)])/(1–KrbKbr).

(8)

Из выражения (8) нетрудно увидеть, что систематическая составляющая относительной

погрешности регистрации спектрозональной разности в случае перекрестных связей сильно

зависит от величины Krb, Kbr и kbr, поэтому при обработке результатов измерений спектрозо-

нальной разности ∆Yrb необходимо учитывать влияние коэффициентов перекрестных связей в соответствии с выражением (8).

Чтобы оценить возможность реализации спектрозонального метода с учетом перекрест-

ных связей, экспериментально исследовалось влияние градиента температуры воздушного

тракта на функционирование физической модели РОЭС с белыми ПИД.

В такой модели РОЭС излучение от белого ПИД проходит через объектив и попадает на

цветовой МФП камеры. Разрешение передаваемого видеосигнала, контрастность или способ

получения видеоинформации устанавливаются при помощи персонального компьютера, к

которому подключена камера. В физической модели РОЭС использовалась камера VEC-545

(матрица КМОП OV5620 формата 1/2,5″, размер пиксела 2,2×2,2 мкм, объектив Юпитер-21М,

f ′ = 200 мм, расстояние до источника 2,73 м). В качестве РМ использован белый ПИД

AL-513RGB, создающий оптическое излучение в трех спектральных диапазонах (λmax= 470, 525 и 625 нм). Обработка и управление моделью РОЭС осуществлялись с помощью специ-

альной компьютерной программы, разработанной в среде LabView, только для двух длин

волн В и R (соответственно 470 и 625 нм).

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4

Исследование метода спектрозональной селекции

21

На рис. 3 приведены экспериментальные зависимости координат YоrЦЭ и YоbЦЭ изображений РМ от времени наблюдения (нарастание температуры воздушного тракта) в синем (1) и красном (2) каналах видеокамеры с учетом корректировок перекрестных связей в синем (3) и красном (4) каналах. Как видно из хода кривых 1 и 2, при воздействии температуры на воздушный тракт наблюдается ожидаемое смещение координат центров изображений РМ. При этом координаты YоrЦЭ и YоbЦЭ удаляются друг от друга, что указывает на увеличение спектрозональной разности ∆Yrb. Рост оценки СКО координат YоrЦЭ и YоbЦЭ прекращается через час, что характеризует наступление стационарного режима. За это время под воздействием температуры координаты изображений РМ YоrЦЭ и YоbЦЭ сместились соответственно на 22,62 и 20,73 пкс, при этом максимальное СКО не превысило 0,5 пкс. Максимальная спектрозональная разность
между измерениями ЦЭ в каналах составила ∆Yrb = 0,14 пкс по вертикали и ∆Xrb= 0,04 пкс по горизонтали, что соответствует градиенту температуры воздушного тракта.
Y, пкс

710 3

670 4

630
1 590
2 550
0 10 20 30 40 50 t, мин Рис. 3
С учетом коэффициента коррекции влияния перекрестных связей для значений Kbr =0,165, Krb =0,013 разность между смещениями центров в каналах составляет ∆Yrb = 0,039 пкс по вертикали и ∆Xrb= 0,011 пкс по горизонтали.
В результате описанных исследований — предложены алгоритмы пересчета оценки координат изображений активных РМ при спектрозональных измерениях на едином матричном поле анализа цветового МФП; — доказана возможность синхронно обеспечивать СКО результата измерения положения изображения РМ не более 0,5 пиксела в двух спектральных диапазонах, используя выпускаемые серийно видеокамеры VEC-545. — доказано, что предложенный способ спектрозональных измерений координат активных РМ в поле зрения единого цветового МФП позволяет регистрировать воздействие градиента температур воздушного тракта на процесс контроля РОЭС. Работа проведена в рамках федеральной целевой программы „Научные и научнопедагогические кадры инновационной России“ на 2009—2013 гг.
СПИСОК ЛИТЕРАТУРЫ
1. Богатинский Е. М., Коротаев В. В., Мараев А. А., Тимофеев А. Н. Исследование путей ослабления влияния воздушного тракта в распределенных оптико-электронных системах предупреждения техногенных катастроф // Науч.-техн. вестн. СПбГУ ИТМО. 2010. № 3 (67). С. 130.
2. Лашманов О. Ю., Пантюшин А. В., Тимофеев А. Н., Ярышев С. Н. Исследование возможности применения спектрозонального метода для ослабления влияния воздушного тракта в оптико-электронных системах контроля положения // Там же. 2011. № 3 (73). С. 5—9.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4

22 Г. Г. Ишанин, В. П. Челибанов

3. Соломатин В. А., Якушенков Ю. Г. Сравнение некоторых способов определения координат изображений, осуществляемых с помощью многоэлементных приемников излучения // Изв. вузов СССР. Приборостроение. 1986. № 9. С. 62—69.

4. Тарасов В. В., Якушенков Ю. Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. М.: Университетская книга; Логос, 2007. 192 с.

5. Latyev S. M., Pankov E. D., Prokofjev A. V., Tymofeev A. N. Refraction's slacking in optoelectronic systems for positioning of elements of ecological dangerous objects // Proc. SPIE. 2004. Vol. 5381. P. 157—163.

Сведения об авторах

Антон Андреевич Мараев

— аспирант; Санкт-Петербургский национальный исследовательский

университет информационных технологий, механики и оптики, ка-

федра оптико-электронных приборов и систем;

E-mail: antoshka87@gmail.com

Александр Николаевич Тимофеев — канд. техн. наук; Санкт-Петербургский национальный исследователь-

ский университет информационных технологий, механики и оптики,

кафедра оптико-электронных приборов и систем;

E-mail: timofeev@grv.ifmo.ru

Сергей Николаевич Ярышев

— канд. техн. наук, доцент; Санкт-Петербургский национальный иссле-

довательский университет информационных технологий, механики и

оптики, кафедра оптико-электронных приборов и систем;

E-mail: ysn63@mail.ru

Рекомендована факультетом ОИСТ

Поступила в редакцию 25.11.11 г.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 4