ТЕЛЕВИЗИОННЫЕ МЕТОДЫ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ В СЛОЖНЫХ УСЛОВИЯХ НАБЛЮДЕНИЯ
20 В. И. Можейко, Н. А. Обухова, Б. С. Тимофеев, В. Т. Фисенко, Т. Ю. Фисенко
УДК 621.397
В. И. МОЖЕЙКО, Н. А. ОБУХОВА, Б. С. ТИМОФЕЕВ, В. Т. ФИСЕНКО, Т. Ю. ФИСЕНКО
ТЕЛЕВИЗИОННЫЕ МЕТОДЫ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ В СЛОЖНЫХ УСЛОВИЯХ НАБЛЮДЕНИЯ
Рассмотрены методы автоматической сегментации и сопровождения нескольких объектов на сложном фоне. Разработаны алгоритмы адаптивного корреляционного сопровождения объекта при условии первоначального целеуказания, а также автоматического захвата и сопровождения многих объектов. В алгоритме корреляционного сопровождения осуществляетcя адаптация размеров следящего окна, производятся учет формы объекта и динамическое накопление сигнала. Задачи автоматической сегментации и одновременного сопровождения нескольких объектов решены на основе векторов движения (оптического потока) и гауссовой модели формы. Приведены результаты экспериментальных исследований предложенных алгоритмов, позволяющие оценить их эффективность и надежность.
Ключевые слова: сегментация, сопровождение нескольких объектов интереса, автоматический захват, слоевое представление, корреляционные методы сопровождения, векторы движения.
Введение. Задача автоматического сопровождения объектов по последовательности изображений становится все более значимой при разработке телевизионных систем наблюдения. Основные трудности автоматического сопровождения связаны с многообразием форм объектов и условий наблюдения. Можно выделить два подхода к решению задачи обнаружения:
1) сегментация изображения с последующим измерением его признаков [1, 2]; 2) корреляционная фильтрация [3—6]. Широкое распространение получили корреляционные фильтры, основанные на искусственных дискриминантных функциях, введенных Касасентом и др. [4], позволяющие разрабатывать фильтры, устойчивые к искажениям формы, изменению масштаба, повороту и др. К таким фильтрам относятся фильтры максимума средней корреляционной высоты (MACH) [3]. Импульсная характеристика этих фильтров обеспечивает получение максимального отклика при воздействии на входе усредненного изображения обучающей выборки и подавление шума на выходе фильтра. На основе этих фильтров разрабатываются фильтры DCCF [4], которые обеспечивают максимальные межкластерные расстояния в среднем, при максимальной компактности кластеров. Эти фильтры строятся по априорной информации об объектах на основе обучающих наборов изображений объектов и помех. Разработаны и другие корреляционные фильтры, инвариантные к углу поворота и устойчивые к шумам в изображении [5, 6]. Обучающий набор должен включать выборки изображений всех обнаруживаемых классов объектов и помех. Эффективность корреляционных фильтров уменьшается при значительном отклонении изображений объекта и помех от изображений, включенных в обучающую выборку. В настоящей работе рассматривается задача сопровождения объекта, выбранного оператором, причем устойчивое сопровождение обеспечивается не только при изменении формы объекта, например, вследствие поворота, но и в случае его заслонения, при наличии шума и помех. Сегментируют объекты путем объединения в кластеры фрагментов изображения со значимой детальностью и когерентным движением [7]. Рациональным является предположение
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
21
о том, что вероятность принадлежности пиксела объекту тем выше, чем ближе пиксел находится к центру кластера. Это обусловливает использование гауссовой модели формы объекта
L(ξ) = exp (−(ξ −µ)T K−1(ξ −µ)/2) ,
где ξ = (x, y)T — вектор координат элемента в плоскости изображения; µ — вектор коорди-
нат центра тяжести объекта; матрица ковариаций K = RT (−ϕ)diag ⎣⎢a2b2 ⎦⎥ R(−ϕ) , R(−ϕ) —
матрица поворота объекта на угол ϕ ; а, b — длина большой и малой полуосей эллипса рас-
сеяния, описывающего форму объекта.
Под энергией движения понимают изменение яркости пикселов в соседних кадрах ви-
деопоследовательности (производная яркостного сигнала по времени) [8]
dI (x, y;t) / dt ≈ (I (x, y;t)− I (x, y;t −∆t)) / ∆t ,
где I(x,y;t) — яркость пиксела с координатами (x, y) в любой момент времени t.
Более информативным для оценки является поле векторов движения (оптический по-
ток). Предполагают, что вдоль траектории движения объекта его яркость остается постоян-
ной:
d dt
I ( x, y;t) =
∂I ∂x
∂x ∂t
+
∂I ∂y
∂y ∂t
+
∂I ∂t
=
∇I, v
+
∂I ∂t
=0,
где .,. — скалярное произведение векторов, ∇I = (∂I / ∂x, ∂I / ∂y)T — вектор-градиент,
v = (∂x / ∂t, ∂y / ∂t )T — вектор оптического потока (вектор движения).
Объединение признаков яркости, детальности и формы с признаком движения позволяет реализовать слоевое представление: каждому объекту и фону сопоставлен свой слой [9]. Это позволяет автоматически сегментировать объекты на сложном фоне, разрешить ситуации окклюзии, слияния и разделения объектов на этапе сопровождения.
В реальных условиях функционирования систем слежения возникает ряд проблем. Необходимо использовать экстраполяцию положения объекта в моменты перекрытия наблюдаемого объекта другими объектами или фрагментами фона. В корреляционных системах основной проблемой является возможность потери объекта на сложном фоне в условиях изменения свойств объекта. В системах слежения, использующих поле векторов движения, необходимо снизить влияние аномальных векторов [7], т.е. векторов, не отражающих реального движения.
Рассмотрим методы решения указанных проблем на примере системы адаптивного корреляционного сопровождения, а также системы сегментации и сопровождения на основе слоевого представления.
Адаптивный корреляционный метод сопровождения объектов. Основными процедурами адаптивного корреляционного метода являются:
— создание бинарной маски эталонного массива и формирование адаптивного окна эталонного массива для измерения межкадрового сдвига;
— измерение координат положения объекта в текущем кадре с помощью корреляционного алгоритма или согласованной с эталоном объекта фильтрации;
— предсказание положения сопровождаемого объекта в кадровой последовательности в случае срыва сопровождения (при заслонении объекта) по экстраполированным данным, полученным на выходе фильтра Калмана.
Метод реализуется следующим образом. Оператор задает первичное окно при захвате и начале автоматического сопровождения объекта, „набрасывая“ строб на объект. Внутри строба формируется контур объекта с помощью модифицированного оператора Собеля. Выполняется пороговое ограничение. Для заполнения контуров и расширения области высоких
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
22 В. И. Можейко, Н. А. Обухова, Б. С. Тимофеев, В. Т. Фисенко, Т. Ю. Фисенко
пространственных частот используется дилатация. По бинарному изображению формируется окно эталонного массива.
Корреляционный алгоритм выполняется в двумерной пространственной области. Пусть
задан эталон ω( x, y) при x∈[ 0, J −1], y∈[ 0, K −1] в окне Wэ . Корреляция используется
как средство поиска окна Wo , содержащего объект, соответствующий эталону на изображе-
нии кадра f ( x, y) при x∈[ 0, N −1], y∈[ 0, M −1]. В качестве оценки корреляции исполь-
зуем сумму модулей разностей соответствующих отсчетов яркости изображения текущего кадра и эталонного массива в скользящем окне [10] при x∈[ J / 2, N −1− J / 2],
y∈[K / 2, M −1− K / 2]:
r(x, y) = ∑ ∑ ω(s,t )− f ( x+ s, y+t) ,
(1)
t∈ωбэ s∈ωбэ
где ωбэ — бинарная область (маска), соответствующая эталону.
Положение эталона, при котором формируется минимальный отклик, определяет коор-
динаты объекта, соответствующего эталону.
В качестве единого критерия качества S используем характеристику подобия остроты
минимума поверхности r(x, y) в текущем кадре остроте минимума в кадре эталонного масси-
ва для двух координатных направлений x и y:
( )( )S x = min r ( x0 −εx , y0 ), r ( x0 +εx , y0 ) −τ rmax э
(( ) )( )min rэ (d −εx , d ), rэ (d +εx , d ) −τэ rmax >Tx ,
( ( ( ) ( )) )S y = min r x0 , y0 −εy , r x0 , y0 +εy −τ rmax э
(( ( ) ) )( ) ( ) ( )min rэ d, d −εy , rэ d, d +εy −τэ rmax >Ty ; S = min Sx , Sy ,
(2)
( )где ε = εx , ε y — смещение по осям координат от центра объекта ( x0 ,y0 ) или эталона,
τ , τэ — минимальное значение r ( x, y) для текущего и эталонного массивов; rmax , rmax э —
( )максимальное значение r ( x, y) для текущего и эталонного массивов; T= Tx ,Ty — порого-
вые значения. Для повышения устойчивости сопровождения при изменении размера и формы объекта
необходимо формировать адаптивное окно фильтрации. При отсутствии высокочастотной помехи оценка размеров бинарной области не вызывает затруднений. При наблюдении за объектом на сложном фоне необходимо определить границы объекта, не допуская их расширения, вызванного помехой. Для этого формируются две зоны относительно нового положения эталонного массива: зону расширения (охватывает окно эталонного массива) и зону защиты (охватывает зону расширения). Если бинарная область распространяется за пределы области расширения в зону защиты, то в этом направлении размер эталона не изменяется.
При формировании контурного изображения сигнала, как при любом дифференцировании, шумы усиливаются. Поэтому для лучшего формирования контура выполняется динамическое накопление полутонового сигнала изображения [10]. В каждом кадре производится управление накоплением в соответствии с мерой качества S. Поскольку она зависит как от изменения формы объекта, так и от фона, устанавливаются два порога. Первый порог — для разрешения обновления эталона, второй, более низкий, — для запрещения накопления в текущем кадре. Такое управление позволяет найти компромисс между разрешением обновления эталонного массива и сменой эталона в связи с изменением формы и размеров объекта.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
23
Обновление эталонного массива приводит к разбиению последовательности изображений на
группы локально квазистационарных последовательностей, что сопоставимо с нормализацией
признаков для обеспечения их инвариантности к изменению масштаба объекта, проективным
и аффинным преобразованиям.
В каждом кадре производится оценка меры качества и изменения среднего значения
амплитуды сигнала объекта, на основании которых принимается решение о переходе к режи-
му предсказания траектории по фильтру Калмана.
Отличительными особенностями предлагаемого метода сопровождения объектов инте-
реса являются:
— использование при согласованной фильтрации меры качества S;
— уменьшение влияния помехи при формировании маски вследствие дифференцирова-
ния сигнала, накопленного в процессе сопровождения;
— повышение отношения сигнал/шум (ОСШ) за счет усреднения по всей области
объекта, а не по его фрагменту (например, блоку), при оценке корреляции;
— использование адаптивного окна фильтрации, при формировании которого учиты-
вается корреляция формы объекта;
— переключение на режим предсказания траектории объекта по данным фильтра Кал-
мана при его заслонении на основании критерия качества.
Автоматическая сегментация и сопровождение объектов на основе слоевого пред-
ставления. В методе используется совокупность признаков детальности, формы и движения.
Это позволяет автоматически захватывать и сопровождать одновременно несколько объектов.
В видеокадре тестового сюжета (рис. 1) автоматически определены и „ведутся“ объект с меткой
„0“ — корабль, двигающийся справа на-
лево, объект „1“ — корабль, двигающийся
слева направо, „45“ — неподвижный ко-
рабль у пристани, объекты с метками „2“,
„20“, „7“ — фрагменты фона.
Основными операциями метода яв-
ляются [7]:
— предварительная классификация
изображения с целью выделения облас-
тей, в которых с высокой вероятностью
возможно присутствие объектов;
— сегментация объектов по при-
знакам временной и пространственной
корреляции;
— сопровождение объектов на ос-
нове определения степени соответствия
фрагмента изображения (блока) b объек-
ту g на основе математического аппарата теории нечетких множеств.
Рис. 1
Чтобы снизить влияние аномальных векторов в оптическом потоке, предложено допол-
нить двумерные векторы движения третьим компонентом — оценкой его достоверности pkl :
( )vkxl , vkyl , pkl
T
,
где vkxl , vkyl — составляющие по направлениям x и y вектора движения для блока изображения с номерами k, l по горизонтали и вертикали.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
24 В. И. Можейко, Н. А. Обухова, Б. С. Тимофеев, В. Т. Фисенко, Т. Ю. Фисенко
Проведенные теоретические и экспериментальные исследования позволили предложить функцию достоверности вектора движения
pkl =1−exp ⎣⎡−ηDm2 (k, l )⎦⎤ ,
здесь η — параметр модели, численное значение которого найдено на основе эксперимен-
тальных данных; модифицированная оценка уровня детальности в блоке
( )Dm = D (k,l )− Dmin Dmin ,
где собственно уровень детальности
Nb Mb
D(k,l) = ∑ ∑ ∆I (xk + j, yl +i) , j=1 i=1
причем ∆I — пространственная производная по яркости; xk , yl — координаты левого верхнего угла блока; Nb , Mb — число пикселов в блоке по горизонтали и вертикали соответственно.
Минимальный уровень детальности в блоке, обусловленный шумами
Dmin = moda {D(k,l)}, k =1, ..., KK, l =1, ..., LL ,
где KK ×LL — число блоков в изображении. Введенная функция позволяет оставить для дальнейшей обработки блоки изображения c
векторами движения, имеющими заданный уровень достоверности. Это существенно снижает влияние аномальных векторов и вычислительную сложность задачи: векторы движения для блоков с низким уровнем достоверности не определяют. Например, уровень достоверности 0,95 исключает из дальнейшей обработки до 90 % блоков [11].
В основу метода сегментации положены признаки детальности, связности и когерентности векторов движения. При жестких требованиях к достоверности векторов движения возникает дефицит блоков, разрешенных для кластеризации. Недостаточное число блоков приводит к неполной сегментации объектов. Качество сегментации оценивают с помощью коэффициента заполнения kз = Sб / S , где S и Sб — площадь проекции изображения объекта на экранную плоскость и блоков, отнесенных к объекту. Для сравнительно больших объектов kз может оказаться существенно меньшим единицы, а малоразмерные объекты могут быть пропущены.
Следствием снижения уровня достоверности является увеличение числа аномальных векторов. Исправляют положение путем предварительной обработки исходных изображений, а также дальнейшей пространственной и временной фильтрации поля векторов движения. Пространственную фильтрацию реализуют путем вычисления векторной медианы внутри скользящего прямоугольного окна. Временную — на основе многомасштабной межкадровой разности, а также путем построения совокупности треков на этапе сопровождения (многотрековое сопровождение).
Использование многомасштабной межкадровой разности предполагает определение пакета векторов движения в Q кадрах
v0q , q =1, ..., Q−1 ,
где v0q — вектор, найденный методом совмещения блоков по кадрам t и t −q . Для обеспече-
ния соизмеримости полученные векторы пересчитывают: vq = v0q / q , где vq — q-й приве-
денный вектор пакета. В кадре могут присутствовать объекты с различными значениями скорости движения,
поэтому полученная на основе пакета совокупность значений векторов движения включает
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
25
три типа оценок. Первый тип v1 — нулевые векторы, полученные по расположенным близко кадрам пакета при медленном движении (расстояние между кадрами недостаточно для полу-
чения значимого вектора). Второй тип v2 — значимые корректные значения векторов движения. Третий тип v3 — аномальные оценки, полученные в удаленных друг от друга кадрах пакета в случае быстрого движения: объект выходит из зоны поиска. По совокупности v1 , v2 , v3 формируют субпиксельную оценку вектора движения, соответствующую реальному движению [12].
( )Предложено два варианта получения субпиксельной оценки vs = vsx , vsy T . В первом
случае используют минимально отличающийся от других вектор пакета
{ }Q−1
Rvq = ∑ v q −vi ; vs = arg min Rvq , i=1 v q
во втором — медиану пакета vsx = v((Q−1) / 2)x при условии v1x < v2x
УДК 621.397
В. И. МОЖЕЙКО, Н. А. ОБУХОВА, Б. С. ТИМОФЕЕВ, В. Т. ФИСЕНКО, Т. Ю. ФИСЕНКО
ТЕЛЕВИЗИОННЫЕ МЕТОДЫ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ В СЛОЖНЫХ УСЛОВИЯХ НАБЛЮДЕНИЯ
Рассмотрены методы автоматической сегментации и сопровождения нескольких объектов на сложном фоне. Разработаны алгоритмы адаптивного корреляционного сопровождения объекта при условии первоначального целеуказания, а также автоматического захвата и сопровождения многих объектов. В алгоритме корреляционного сопровождения осуществляетcя адаптация размеров следящего окна, производятся учет формы объекта и динамическое накопление сигнала. Задачи автоматической сегментации и одновременного сопровождения нескольких объектов решены на основе векторов движения (оптического потока) и гауссовой модели формы. Приведены результаты экспериментальных исследований предложенных алгоритмов, позволяющие оценить их эффективность и надежность.
Ключевые слова: сегментация, сопровождение нескольких объектов интереса, автоматический захват, слоевое представление, корреляционные методы сопровождения, векторы движения.
Введение. Задача автоматического сопровождения объектов по последовательности изображений становится все более значимой при разработке телевизионных систем наблюдения. Основные трудности автоматического сопровождения связаны с многообразием форм объектов и условий наблюдения. Можно выделить два подхода к решению задачи обнаружения:
1) сегментация изображения с последующим измерением его признаков [1, 2]; 2) корреляционная фильтрация [3—6]. Широкое распространение получили корреляционные фильтры, основанные на искусственных дискриминантных функциях, введенных Касасентом и др. [4], позволяющие разрабатывать фильтры, устойчивые к искажениям формы, изменению масштаба, повороту и др. К таким фильтрам относятся фильтры максимума средней корреляционной высоты (MACH) [3]. Импульсная характеристика этих фильтров обеспечивает получение максимального отклика при воздействии на входе усредненного изображения обучающей выборки и подавление шума на выходе фильтра. На основе этих фильтров разрабатываются фильтры DCCF [4], которые обеспечивают максимальные межкластерные расстояния в среднем, при максимальной компактности кластеров. Эти фильтры строятся по априорной информации об объектах на основе обучающих наборов изображений объектов и помех. Разработаны и другие корреляционные фильтры, инвариантные к углу поворота и устойчивые к шумам в изображении [5, 6]. Обучающий набор должен включать выборки изображений всех обнаруживаемых классов объектов и помех. Эффективность корреляционных фильтров уменьшается при значительном отклонении изображений объекта и помех от изображений, включенных в обучающую выборку. В настоящей работе рассматривается задача сопровождения объекта, выбранного оператором, причем устойчивое сопровождение обеспечивается не только при изменении формы объекта, например, вследствие поворота, но и в случае его заслонения, при наличии шума и помех. Сегментируют объекты путем объединения в кластеры фрагментов изображения со значимой детальностью и когерентным движением [7]. Рациональным является предположение
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
21
о том, что вероятность принадлежности пиксела объекту тем выше, чем ближе пиксел находится к центру кластера. Это обусловливает использование гауссовой модели формы объекта
L(ξ) = exp (−(ξ −µ)T K−1(ξ −µ)/2) ,
где ξ = (x, y)T — вектор координат элемента в плоскости изображения; µ — вектор коорди-
нат центра тяжести объекта; матрица ковариаций K = RT (−ϕ)diag ⎣⎢a2b2 ⎦⎥ R(−ϕ) , R(−ϕ) —
матрица поворота объекта на угол ϕ ; а, b — длина большой и малой полуосей эллипса рас-
сеяния, описывающего форму объекта.
Под энергией движения понимают изменение яркости пикселов в соседних кадрах ви-
деопоследовательности (производная яркостного сигнала по времени) [8]
dI (x, y;t) / dt ≈ (I (x, y;t)− I (x, y;t −∆t)) / ∆t ,
где I(x,y;t) — яркость пиксела с координатами (x, y) в любой момент времени t.
Более информативным для оценки является поле векторов движения (оптический по-
ток). Предполагают, что вдоль траектории движения объекта его яркость остается постоян-
ной:
d dt
I ( x, y;t) =
∂I ∂x
∂x ∂t
+
∂I ∂y
∂y ∂t
+
∂I ∂t
=
∇I, v
+
∂I ∂t
=0,
где .,. — скалярное произведение векторов, ∇I = (∂I / ∂x, ∂I / ∂y)T — вектор-градиент,
v = (∂x / ∂t, ∂y / ∂t )T — вектор оптического потока (вектор движения).
Объединение признаков яркости, детальности и формы с признаком движения позволяет реализовать слоевое представление: каждому объекту и фону сопоставлен свой слой [9]. Это позволяет автоматически сегментировать объекты на сложном фоне, разрешить ситуации окклюзии, слияния и разделения объектов на этапе сопровождения.
В реальных условиях функционирования систем слежения возникает ряд проблем. Необходимо использовать экстраполяцию положения объекта в моменты перекрытия наблюдаемого объекта другими объектами или фрагментами фона. В корреляционных системах основной проблемой является возможность потери объекта на сложном фоне в условиях изменения свойств объекта. В системах слежения, использующих поле векторов движения, необходимо снизить влияние аномальных векторов [7], т.е. векторов, не отражающих реального движения.
Рассмотрим методы решения указанных проблем на примере системы адаптивного корреляционного сопровождения, а также системы сегментации и сопровождения на основе слоевого представления.
Адаптивный корреляционный метод сопровождения объектов. Основными процедурами адаптивного корреляционного метода являются:
— создание бинарной маски эталонного массива и формирование адаптивного окна эталонного массива для измерения межкадрового сдвига;
— измерение координат положения объекта в текущем кадре с помощью корреляционного алгоритма или согласованной с эталоном объекта фильтрации;
— предсказание положения сопровождаемого объекта в кадровой последовательности в случае срыва сопровождения (при заслонении объекта) по экстраполированным данным, полученным на выходе фильтра Калмана.
Метод реализуется следующим образом. Оператор задает первичное окно при захвате и начале автоматического сопровождения объекта, „набрасывая“ строб на объект. Внутри строба формируется контур объекта с помощью модифицированного оператора Собеля. Выполняется пороговое ограничение. Для заполнения контуров и расширения области высоких
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
22 В. И. Можейко, Н. А. Обухова, Б. С. Тимофеев, В. Т. Фисенко, Т. Ю. Фисенко
пространственных частот используется дилатация. По бинарному изображению формируется окно эталонного массива.
Корреляционный алгоритм выполняется в двумерной пространственной области. Пусть
задан эталон ω( x, y) при x∈[ 0, J −1], y∈[ 0, K −1] в окне Wэ . Корреляция используется
как средство поиска окна Wo , содержащего объект, соответствующий эталону на изображе-
нии кадра f ( x, y) при x∈[ 0, N −1], y∈[ 0, M −1]. В качестве оценки корреляции исполь-
зуем сумму модулей разностей соответствующих отсчетов яркости изображения текущего кадра и эталонного массива в скользящем окне [10] при x∈[ J / 2, N −1− J / 2],
y∈[K / 2, M −1− K / 2]:
r(x, y) = ∑ ∑ ω(s,t )− f ( x+ s, y+t) ,
(1)
t∈ωбэ s∈ωбэ
где ωбэ — бинарная область (маска), соответствующая эталону.
Положение эталона, при котором формируется минимальный отклик, определяет коор-
динаты объекта, соответствующего эталону.
В качестве единого критерия качества S используем характеристику подобия остроты
минимума поверхности r(x, y) в текущем кадре остроте минимума в кадре эталонного масси-
ва для двух координатных направлений x и y:
( )( )S x = min r ( x0 −εx , y0 ), r ( x0 +εx , y0 ) −τ rmax э
(( ) )( )min rэ (d −εx , d ), rэ (d +εx , d ) −τэ rmax >Tx ,
( ( ( ) ( )) )S y = min r x0 , y0 −εy , r x0 , y0 +εy −τ rmax э
(( ( ) ) )( ) ( ) ( )min rэ d, d −εy , rэ d, d +εy −τэ rmax >Ty ; S = min Sx , Sy ,
(2)
( )где ε = εx , ε y — смещение по осям координат от центра объекта ( x0 ,y0 ) или эталона,
τ , τэ — минимальное значение r ( x, y) для текущего и эталонного массивов; rmax , rmax э —
( )максимальное значение r ( x, y) для текущего и эталонного массивов; T= Tx ,Ty — порого-
вые значения. Для повышения устойчивости сопровождения при изменении размера и формы объекта
необходимо формировать адаптивное окно фильтрации. При отсутствии высокочастотной помехи оценка размеров бинарной области не вызывает затруднений. При наблюдении за объектом на сложном фоне необходимо определить границы объекта, не допуская их расширения, вызванного помехой. Для этого формируются две зоны относительно нового положения эталонного массива: зону расширения (охватывает окно эталонного массива) и зону защиты (охватывает зону расширения). Если бинарная область распространяется за пределы области расширения в зону защиты, то в этом направлении размер эталона не изменяется.
При формировании контурного изображения сигнала, как при любом дифференцировании, шумы усиливаются. Поэтому для лучшего формирования контура выполняется динамическое накопление полутонового сигнала изображения [10]. В каждом кадре производится управление накоплением в соответствии с мерой качества S. Поскольку она зависит как от изменения формы объекта, так и от фона, устанавливаются два порога. Первый порог — для разрешения обновления эталона, второй, более низкий, — для запрещения накопления в текущем кадре. Такое управление позволяет найти компромисс между разрешением обновления эталонного массива и сменой эталона в связи с изменением формы и размеров объекта.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
23
Обновление эталонного массива приводит к разбиению последовательности изображений на
группы локально квазистационарных последовательностей, что сопоставимо с нормализацией
признаков для обеспечения их инвариантности к изменению масштаба объекта, проективным
и аффинным преобразованиям.
В каждом кадре производится оценка меры качества и изменения среднего значения
амплитуды сигнала объекта, на основании которых принимается решение о переходе к режи-
му предсказания траектории по фильтру Калмана.
Отличительными особенностями предлагаемого метода сопровождения объектов инте-
реса являются:
— использование при согласованной фильтрации меры качества S;
— уменьшение влияния помехи при формировании маски вследствие дифференцирова-
ния сигнала, накопленного в процессе сопровождения;
— повышение отношения сигнал/шум (ОСШ) за счет усреднения по всей области
объекта, а не по его фрагменту (например, блоку), при оценке корреляции;
— использование адаптивного окна фильтрации, при формировании которого учиты-
вается корреляция формы объекта;
— переключение на режим предсказания траектории объекта по данным фильтра Кал-
мана при его заслонении на основании критерия качества.
Автоматическая сегментация и сопровождение объектов на основе слоевого пред-
ставления. В методе используется совокупность признаков детальности, формы и движения.
Это позволяет автоматически захватывать и сопровождать одновременно несколько объектов.
В видеокадре тестового сюжета (рис. 1) автоматически определены и „ведутся“ объект с меткой
„0“ — корабль, двигающийся справа на-
лево, объект „1“ — корабль, двигающийся
слева направо, „45“ — неподвижный ко-
рабль у пристани, объекты с метками „2“,
„20“, „7“ — фрагменты фона.
Основными операциями метода яв-
ляются [7]:
— предварительная классификация
изображения с целью выделения облас-
тей, в которых с высокой вероятностью
возможно присутствие объектов;
— сегментация объектов по при-
знакам временной и пространственной
корреляции;
— сопровождение объектов на ос-
нове определения степени соответствия
фрагмента изображения (блока) b объек-
ту g на основе математического аппарата теории нечетких множеств.
Рис. 1
Чтобы снизить влияние аномальных векторов в оптическом потоке, предложено допол-
нить двумерные векторы движения третьим компонентом — оценкой его достоверности pkl :
( )vkxl , vkyl , pkl
T
,
где vkxl , vkyl — составляющие по направлениям x и y вектора движения для блока изображения с номерами k, l по горизонтали и вертикали.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
24 В. И. Можейко, Н. А. Обухова, Б. С. Тимофеев, В. Т. Фисенко, Т. Ю. Фисенко
Проведенные теоретические и экспериментальные исследования позволили предложить функцию достоверности вектора движения
pkl =1−exp ⎣⎡−ηDm2 (k, l )⎦⎤ ,
здесь η — параметр модели, численное значение которого найдено на основе эксперимен-
тальных данных; модифицированная оценка уровня детальности в блоке
( )Dm = D (k,l )− Dmin Dmin ,
где собственно уровень детальности
Nb Mb
D(k,l) = ∑ ∑ ∆I (xk + j, yl +i) , j=1 i=1
причем ∆I — пространственная производная по яркости; xk , yl — координаты левого верхнего угла блока; Nb , Mb — число пикселов в блоке по горизонтали и вертикали соответственно.
Минимальный уровень детальности в блоке, обусловленный шумами
Dmin = moda {D(k,l)}, k =1, ..., KK, l =1, ..., LL ,
где KK ×LL — число блоков в изображении. Введенная функция позволяет оставить для дальнейшей обработки блоки изображения c
векторами движения, имеющими заданный уровень достоверности. Это существенно снижает влияние аномальных векторов и вычислительную сложность задачи: векторы движения для блоков с низким уровнем достоверности не определяют. Например, уровень достоверности 0,95 исключает из дальнейшей обработки до 90 % блоков [11].
В основу метода сегментации положены признаки детальности, связности и когерентности векторов движения. При жестких требованиях к достоверности векторов движения возникает дефицит блоков, разрешенных для кластеризации. Недостаточное число блоков приводит к неполной сегментации объектов. Качество сегментации оценивают с помощью коэффициента заполнения kз = Sб / S , где S и Sб — площадь проекции изображения объекта на экранную плоскость и блоков, отнесенных к объекту. Для сравнительно больших объектов kз может оказаться существенно меньшим единицы, а малоразмерные объекты могут быть пропущены.
Следствием снижения уровня достоверности является увеличение числа аномальных векторов. Исправляют положение путем предварительной обработки исходных изображений, а также дальнейшей пространственной и временной фильтрации поля векторов движения. Пространственную фильтрацию реализуют путем вычисления векторной медианы внутри скользящего прямоугольного окна. Временную — на основе многомасштабной межкадровой разности, а также путем построения совокупности треков на этапе сопровождения (многотрековое сопровождение).
Использование многомасштабной межкадровой разности предполагает определение пакета векторов движения в Q кадрах
v0q , q =1, ..., Q−1 ,
где v0q — вектор, найденный методом совмещения блоков по кадрам t и t −q . Для обеспече-
ния соизмеримости полученные векторы пересчитывают: vq = v0q / q , где vq — q-й приве-
денный вектор пакета. В кадре могут присутствовать объекты с различными значениями скорости движения,
поэтому полученная на основе пакета совокупность значений векторов движения включает
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 8
Телевизионные методы сопровождения объектов в сложных условиях наблюдения
25
три типа оценок. Первый тип v1 — нулевые векторы, полученные по расположенным близко кадрам пакета при медленном движении (расстояние между кадрами недостаточно для полу-
чения значимого вектора). Второй тип v2 — значимые корректные значения векторов движения. Третий тип v3 — аномальные оценки, полученные в удаленных друг от друга кадрах пакета в случае быстрого движения: объект выходит из зоны поиска. По совокупности v1 , v2 , v3 формируют субпиксельную оценку вектора движения, соответствующую реальному движению [12].
( )Предложено два варианта получения субпиксельной оценки vs = vsx , vsy T . В первом
случае используют минимально отличающийся от других вектор пакета
{ }Q−1
Rvq = ∑ v q −vi ; vs = arg min Rvq , i=1 v q
во втором — медиану пакета vsx = v((Q−1) / 2)x при условии v1x < v2x