Например, Бобцов

МЕТОД АВТОМАТИЧЕСКОГО ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ АППАРАТА НЕЧЕТКОЙ ЛОГИКИ

МЕТОДЫ ЦИФРОВОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
УДК 680.5.01:621.384
В. Н. ГРИДИН, Е. И. БУГАЕНКО
МЕТОД АВТОМАТИЧЕСКОГО ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ
НА ОСНОВЕ АППАРАТА НЕЧЕТКОЙ ЛОГИКИ
Представлен метод получения панорамных изображений из множества цифровых изображений, имеющих одинаковые области, с использованием математического аппарата нечеткой логики.
Ключевые слова: панорамное изображение, обработка изображений, радиальная дисторсия, нечеткая логика.
В настоящее время панорамные изображения получают в основном двумя способами: с помощью специализированных устройств и с помощью программ, позволяющих объединять несколько изображений в одно, которое будет иметь более широкий угол обзора, чем исходные. Однако существующие подходы имеют такие недостатки, как низкая точность сформированных панорамных изображений, обусловленная влиянием аберраций оптических систем, высокая стоимость специализированного оборудования, а также сложность в использовании этого оборудования. Программные методы позволяют создавать панорамные изображения из видеопоследовательности или из множества изображений с одинаковыми областями.
Например, один из существующих методов создания панорамных изображений [1] включает следующие этапы:
— получение нескольких пересекающихся изображений рабочей сцены; — определение положения каждого последующего изображения относительно предыдущего; — коррекция искажений перспективы на всех изображениях; — перебор возможных вариантов соединения изображений и выбор такого варианта, при котором совпадение одинаковых участков изображений будет наилучшим; — определение значения маски для каждого пиксела изображений; — получение панорамного изображения путем наложения изображений друг на друга с использованием вычисленных значений маски. Таким образом, описанный метод требует участия пользователя, и поэтому не может быть применен в автоматических системах обработки изображений. В методе получения панорамных изображений, представленном в работах [2, 3], добавлен этап коррекции геометрических искажений, в ходе которого минимизируются искажения положения объектов на одном изображении относительно положения этих же объектов на других изображениях. Серия фотографий выполняется одним фотоаппаратом, который поворачивают горизонтально на определенные углы, т.е. одно изображение получается развернутым относительно второго на некоторый угол. При совмещении этих изображений расстояния
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 2

8 В. Н. Гридин, Е. И. Бугаенко
между объектами могут быть различными, что приводит к искажению панорамных изображений. Коррекция заключается в проведении аффинных преобразований изображения на плоскости [4]. Их использование ведет к упрощению объединения перекрывающихся изображений и повышению качества полученной панорамы, но искажения, вызванные аберрациями оптических систем, данным методом не корректируются.
Существует также подход к формированию панорамных изображений из видеопоследовательности [5]. Метод основан на анализе изображений, которые извлекаются из видеопоследовательности, по ним определяется вектор движения; используя определенный вектор, а также другие параметры участков кадров, получают панорамное изображение. Использовать этот метод очень удобно для случаев, когда из видеопоследовательности необходимо получить фотографию с широким углом обзора.
Итак, при создании панорамных изображений возможно использовать несколько способов коррекции искажений перспективы, или геометрических, т.е. искажений, возникающих на одном изображении по отношению к другим, однако существующие способы не обеспечивают компенсации оптических аберраций, возникающих в изображениях из-за несовершенства оптических узлов. На качество формируемых панорамных изображений особенно большое влияние оказывает радиальная дисторсия. Это затрудняет выделение в нескольких изображениях одинаковых участков, а также создает определенные трудности при соединении нескольких перекрывающихся изображений. Кроме того, ослаблением влияния радиальной дисторсии можно добиться повышения качества панорамных изображений.
Метод автоматического формирования панорамных изображений, представленный в настоящей статье, включает в себя:
— коррекцию радиальной дисторсии; — выделение контуров объектов на множестве изображений; — распознавание идентичных объектов на различных изображениях с использованием математического аппарата нечеткой логики по определенной контурной информации с последующим объединением частей изображений для получения панорамного изображения. Входными данными метода являются множества цифровых изображений с наличием одинаковых областей. После ввода множества изображений производится коррекция радиальной дисторсии с использованием методов [6, 7]. Далее пары изображений обрабатываются в порядке следования. Рассмотрим порядок действий, производимых для первой пары. Этап 1. Выделение контуров объектов и формирование массива контуров для каждого изображения. На двух изображениях выделяют контуры и получают два множества контуров Q1 и Q2 соответственно. Множество контуров Ql состоит из элементов (контуров) qlm:
Q1 = {qlm } l=1, Nk ,
где Nk — количество контуров. Из множеств Q1 и Q2 исключаются контуры, характеризующиеся следующими призна-
ками: — часть контура расположена у края изображения; — контур имеет маленькую протяженность (для различных размеров изображений про-
тяженность различна); — контур полностью располагается на краю изображения. Если после исключения не удовлетворяющих условиям контуров количество оставших-
ся контуров (множества Q1ост, Q2ост) превышает 10, то рассматривают первые 10 из них. После того как множества контуров на изображениях получены, необходимо опреде-
лить множество идентичных контуров на паре исследуемых изображений.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 2

Метод автоматического формирования панорамных изображений

9

Этап 2. Определение идентичных контуров.
Для каждого контура q1i, где i — порядковый номер элемента множества Q1ост, выполняется последовательность действий, основанная на использовании аппарата нечеткой логи-
ки, в результате которой будет найден „идентичный“ контур q2j, где j — порядковый номер элемента множества Q2ост. Экспериментальные результаты показали, что не для всех элементов множества Q1ост будет найден „идентичный“ в массиве Q2ост, но часть „идентичных“ контуров будет определена, и из них необходимо будет выбрать наиболее информативные.
Введем лингвистическую переменную (ЛП) „идентичный контур“. Функция принад-
лежности ЛП „идентичный контур“ имеет вид

µид = µпл ∧ µпр ∧ µцв ∧ µп ,

(1)

где µпл — функция принадлежности терму „площадь“, µпр — функция принадлежности тер-
му „протяженность“, µцв — функция принадлежности лингвистической переменной „цвет“,
µп — функция принадлежности терму „положение“. Терм „площадь“ характеризует степень схожести площадей прямоугольников, в кото-
рые вписаны образованные контурами фигуры. Функция принадлежности терму „площадь“ принимает вид:

⎧µ1(x, aпл , bпл ), x < bпл , µпл (x, aпл ,bпл , cпл ) = ⎪⎨1, bпл ≤ x ≤ cпл ,
⎪⎩1 − µ1(x, cпл , cпл + bпл − aпл , x > cпл ;

(2)

⎧0, x ≤ aпл ,

µ1 ( x,

aпл

, bпл

)

=

⎪ ⎪

2( x

⎪⎪ (bпл

− aпл )2 − aпл )2

,

aпл

<

x



aпл

+ 2

bпл

,

⎨ ⎪⎪1 − ⎪

2( x (bпл

− aпл )2 − aпл )2

,

aпл

+ bпл 2

<

x < bпл

,

⎪⎩1, x ≥ bпл ;

(3)

где aпл, bпл, cпл — параметры. Параметры aпл, bпл, cпл вычисляются для каждого контура на первом изображении, соот-
ветственно идентифицироваться будут нижним индексом, т.е. для контура q1i параметры именуются aпл1i, bпл1i, cпл1i и так далее.
Терм „протяженность“ характеризует степень идентичности контуров по длине. Под
длиной или протяженностью в данном случае понимают количество единичных векторов,
описывающих контур. Функция принадлежности терму „протяженность“ принимает вид:

⎧0, x ≤ aпр ,

µпр

( x,

aпр

,

bпр

,

cпр

)

=

⎪ ⎪

x − aпр

⎪ ⎪

спр



aпр

⎨ ⎪

bпр

−x

⎪ ⎪

bпр



cпр

, ,

aпр < x ≤ спр , cпр < x < bпр ,

⎩⎪0, x ≥ bпр .

Функция принадлежности ЛП „цвет“ принимает следующий вид:

(4)

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 2

10 В. Н. Гридин, Е. И. Бугаенко

µцв = µR ∧ µB ∧ µG ,

(5)

где µR , µB , µG — функция принадлежности терму „красный“, „синий“, „зеленый“ соответственно.

Терм „положение“ описывает схожесть расстояний от центра тяжести контура [8] до

отрезка, соединяющего его начало и конец. Функцию принадлежности для термы „положе-

ние“ представим следующим образом:

⎧µ1(x, aп ,bп ), x < bп , µп (x, aп ,bп , cп ) = ⎨⎪1, bп ≤ x ≤ cп ,
⎩⎪1 − µ1(x, cп , cп + bп − aп , x > cп .

(6)

Параметры определяются экспериментально в зависимости от рассчитанных расстояний

на изображениях. Параметры, используемые в функциях принадлежности, будут рассчиты-

ваться динамически, и для каждого контура на каждом изображении будет создан свой набор

параметров.

В результате выполнения расчетов для каждой пары контуров, например, одного на

первом изображении и одного на втором, ставится в соответствие число µ от нуля до едини-

цы, характеризующее степень „идентичности“ этой пары контуров.

Из множества рассчитанных значений коэффициентов µ выбирают максимальное, и со-

ответствующие контуры, входящие в пару, считаются „идентичными“. Если есть несколько

пар контуров с близкими по значению коэффициентами, то выбирается та, что ближе распо-

ложена к краю изображения, которым они будут соединяться.

Информация о найденных „идентичных“ контурах и их характеристиках сохраняется в

памяти.

Далее этапы идентификации одинаковых областей повторяются для следующей пары

изображений — 2 и 3 и т.д. Результаты обработки всех изображений сохраняются для даль-

нейшего использования.

Заключительным этапом формирования панорамного изображения является соединение

частей изображений на основе контурной информации.

Экспериментальные исследования показали, что разработанный метод превосходит су-

ществующие подходы к формированию панорам за счет возможности его использования для

работы с неограниченным множеством изображений с одинаковыми областями, при этом

размеры изображений могут быть различными. Получение панорам разработанным методом

не требует знания параметров камеры, с помощью которой изображения были получены.

Точность сформированного панорамного изображения повышается за счет коррекции ра-

диальной дисторсии.

Работа выполнена при поддержке фонда содействия развитию малых форм предприятий в научно-технической сфере „У.М.Н.И.К.“ (договор № 0806, 2008 г., проект № 8555).

СПИСОК ЛИТЕРАТУРЫ
1. Pat. 7386188 USA. Merging images to form a panoramic image / J. Peterson. 10.06.2008.
2. Pat. 7095905 USA. Merging images to form a panoramic image / J. Peterson. 22.08.2006.
3. Pat. 20070159527 USA. Method and apparatus for providing panoramic view with geometric correction / K. H. Kim. 12.07.2007.
4. Шишкин Е. В., Боресков А. В. Компьютерная графика. М.: Диалог-МИФИ, 1995. 288 с.
5. Pat. 2007/122584. Method and device for generating a panoramic image from a video sequence / S. Auberger. 01.11.2007.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 2

Методика обработки линейчатых образов на дефектоскопических снимках

11

6. Бугаенко Е. И., Труфанов М. И. Способ автоматической коррекции радиальной дисторсии на цифровых изображениях // Тез. докл. XXXV Межвуз. науч.-технич. конф. студентов и аспирантов в области научных исследований „Молодежь и XXI век“. Ч. 1. Курск: КурскГТУ, 2007. С. 16—17.

7. Бугаенко Е. И., Труфанов М. И. Способ калибровки радиальной дисторсии оптической системы цифровой камеры // Сб. мат. Х Междунар. науч.-технич. конф. „Медико-экологические технологии — 2007“. Курск: КурскГТУ, 2007. С. 173 — 176.

8. Дегтярев С. В., Садыков С. С., Тевс С. С., Ширабакина Т. А. Методы цифровой обработки изображений: уч. пос. Ч. 1. Курск: КурскГТУ, 2001. 167 с.

Владимир Николаевич Гридин Елена Ивановна Бугаенко

Сведения об авторах — д-р техн. наук, профессор; ЦИТП РАН, Московская обл., Одинцово;
директор — аспирант; Курский государственный технический университет, кафед-
ра вычислительной техники; E-mail: Elena.bugaenko@gmail.com

Рекомендована кафедрой вычислительной техники

Поступила в редакцию 12.09.08 г.

УДК 004.936

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2009. Т. 52, № 2