КОРРЕКЦИЯ ИСКАЖЕНИЯ ПЕРСПЕКТИВОЙ В СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ
89
УДК 681.5.08
А. А. БЛИННИКОВ, В. И. БОЙКОВ, В. В. БУЛАТОВ, А. А. КУЛЬЧИЦКИЙ, А. В. СПОРЯГИН
КОРРЕКЦИЯ ИСКАЖЕНИЯ ПЕРСПЕКТИВОЙ В СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ*
Предложен алгоритм устранения искажения в изображении, получаемом посредством системы технического зрения мобильного робота. Рассматриваемое искажение является результатом перспективной проекции пространства предметов на плоскость фотоприемной матрицы. Ключевые слова: перспективная проекция, техническое зрение, коррекция искажений.
Введение. Системы технического зрения на базе видеокамер широко используются при управлении движением мобильных роботов. С их помощью решаются задачи локальной ориентации робота в ограниченном пространстве, обнаружения препятствий, определения расстояния до препятствия, формы препятствия и т.п. Видеокамера располагается так, что ее оптическая ось направлена не горизонтально, а под некоторым углом к горизонту. Такая ориентация видеокамеры позволяет использовать триангуляционный метод обработки изображения для анализа ближней и дальней зон прилегающего к роботу пространства [1].
* Работа выполнена при финансовой поддержке ФЦП „Научные и научно-педагогические кадры инновационной России“ на 2009—2013 гг. (соглашение № 14.B37.21.0659).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
90 А. А. Блинников, В. И. Бойков, В. В. Булатов, А. А. Кульчицкий, А. В. Спорягин
Видеокамера дает изображение в перспективной проекции, т.е. проекции трехмерного пространства предметов на плоскость изображения. Как известно, при такой проекции преобразованное пространство не является евклидовым, так как ортогональность осей пространства предметов не сохраняется. Это приводит к искажению форм и соотношений размеров изображения элементов сцены, усложняет вычисление численных расстояний и формы препятствий [2]. В результате решение задачи локальной ориентации робота в реальном пространстве существенно усложняется, требуется разрабатывать специальные технические приемы и методы, позволяющие восстановить взаимное расположение и форму предметов по их плоскому изображению. Наиболее известный технический прием — использование структуированной подсветки пространства предметов [1].
В настоящей работе для решения подобных задач предлагается использовать алгоритм нелинейного преобразования исходного изображения, устраняющий искажения перспективной проекции. При выводе алгоритма предполагается, что робот движется по горизонтальной плоскости, а параметры оптики видеокамеры, высота ее установки и угол наклона к горизонту известны.
Постановка задачи. Рассмотрим процесс формирования изображения двумерных предметов, расположенных в горизонтальной плоскости XOZ пространства предметов, посредством видеокамеры, установленной на высоте h над ней. Оптическая ось объектива видеокамеры направлена под углом α к вертикали и ортогонально плоскости фотоприемной матрицы (рис. 1). Длина отрезка в пространстве предметов, параллельного оси X и расположенного в плоскости XOZ ближе к началу координат на изображении, оказывается больше, чем длина такого же отрезка, но расположенного дальше от начала координат. Два отрезка в плоскости XOZ, параллельные оси Z, т.е. „уходящие в перспективу“, на изображении получаются расположенными под углом к друг другу. Другими словами, на изображении форма фигуры на плоскости XOZ претерпевает „искажение перспективой“ — геометрические размеры ее элементов зависят от координаты z расположения элементов.
Z
с V
h f
Uα О
d
Y
X Рис. 1
Алгоритм компенсации искажений. Абстрагируясь от конкретной оптической схемы объектива, представим сформированное видеокамерой изображение как центральную проекцию пространства предметов на плоскость фотоприемной матрицы. При расположении оптической оси ортогонально плоскости фотоприемной матрицы направим ось U изображения параллельно оси Х, а ось V изображения — ортогонально оси U (см. рис. 1).
Координаты точек изображения получим с помощью методов компьютерной графики [2]. Координаты точки m, расположенной в пространстве предметов на плоскости XOZ (y=0), за-
даются вектором в однородных координатах m = [ x 0 z 1] .
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
91
Этой точке на плоскости изображений соответствует точка µ c однородными координа-
тами µ = [u v λ] , при этом связь между координатами задается матричным уравнением
µ
=
mS
(−d
)R
⎛ ⎝⎜
π 2
−
α
⎞ ⎠⎟
S
(d
)P(r
)С
,
(1)
⎡1 0 0 0⎤
где
S (±d )
=
⎢⎢0 ⎢0
1 0
0 1
0⎥⎥ 0⎥
—
матрица
смещения координат
вдоль оси Z на величину d;
⎢⎣0 0 ±d 1⎦⎥
⎡1 0
0 0⎤
R
⎝⎛⎜
π 2
−
α
⎠⎞⎟
=
⎢⎢0 ⎢0
sin α cos α
− cos α sin α
0⎥⎥ 0⎥
— матрица разворота системы координат вокруг оси X на
⎣⎢0 0
0 1⎥⎦
⎡1 0 0 0⎤
угол
⎛ ⎜⎝
π 2
−
α
⎞ ⎠⎟
;
P(r)
=
⎢⎢0 ⎢0
1 0
0 0
0⎥⎥ r⎥
— матрица центральной
проекции с параметром
(кон-
⎢⎣0 0 0 1⎦⎥
стантой)
r
=
f d
sin
α
,
f — расстояние от плоскости изображения до точки с схода лучей
⎡1 0 0 ⎤
вдоль
оптической
оси
системы;
С
=
⎢⎢0 ⎢0
1 0
0
⎥ ⎥
0⎥
— координатная матрица.
⎢⎣0
0
1
⎥ ⎦
Сворачивание выражения (1) и раздельное вычисление координат точки изображения µ
дает:
u
=
x (z − d )r sin α + rd
+1,
v
=
(z
(z − d ) cos α − d )r sin α + rd
+1 .
(2)
Полученные выражения (2) задают нелинейные зависимости координат u и v точки на
изображении от координат х и z точки в пространстве предметов. Зависимости можно линеа-
ризовать, если в (2) положить α=π/2:
u1
=
x rd + 1
,
v1
=
(z − d) rd + 1
.
(3)
Реализовать условие α=π/2 можно, либо направив видеокамеру вертикально вниз, раз-
местив ее над точкой z = d (x=0, y=0), либо пересчитав координаты u, v точек исходного изо-
бражения в координаты u1, v1 точек исправленного изображения. Так как реализация первого способа часто связана с техническими трудностями, то рассмотрим возможности второго
способа.
Непосредственно из (2) и (3), исключив промежуточные переменные, нетрудно полу-
чить связь координат точек исходного и исправленного изображений:
u
=
v1r
u1 sin α
+1
,
v
=
v1 cos α v1r sin α +1
.
(4)
На основании (4), учитывая, что α и r — константы, получим достаточно простой алго-
ритм формирования исправленного изображения:
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
92 А. А. Блинников, В. И. Бойков, В. В. Булатов, А. А. Кульчицкий, А. В. Спорягин — путем последовательного перебора по строкам пикселов исправленного изображения
вычисляются координаты u1, v1 для каждого пиксела; — по равенствам (4) для каждой пары u1, v1 вычисляются соответствующие координаты
u, v пиксела исходного изображения; — если вычисленным координатам u, v соответствует реально существующий пиксел,
то значение его сигнала приписывается пикселу с координатами u1, v1 исправленного изображения, в противном случае пикселу исправленного изображения приписывается сигнал уровня черного.
На рис. 2 представлен результат применения алгоритма исправления изображения тестового „шахматного поля“. Исходное изображение получено при размещении видеокамеры под углом α=40° к вертикали и при d=1600 мм (рис. 2, а). На этом изображении изначально одинаковые по размеру квадраты поля принимают различные размеры в зависимости от удаленности квадрата от видеокамеры. Применение алгоритма позволяет полностью исправить искажение перспективой и получить изображение (рис. 2, б), аналогичное наблюдаемому сверху. Особенно следует обратить внимание на сохранение резкости границ раздела „шахматных клеток“ на исправленном изображении.
а) б)
Рис. 2
Свойства исправленного изображения определяются параметрами используемой видеокамеры и места ее установки, однако можно выделить и общие свойства.
Свойство 1. Сохранение центра изображения. Действительно, как следует из (4), точке u1=0, v1=0 исправленного изображения соответствует единственная точка u=0, v=0 исходного изображения.
Свойство 2. Горизонтальные прямые v=const исходного изображения преобразуются в горизонтальные прямые v1=const исправленного изображения.
Свойство 3. Вертикальные прямые u=const исходного изображения преобразуются в наклонные v1 = a(u)u1 + b(u) . В результате вертикальные границы исходного изображения отображаются наклонными линиями на исправленном изображении.
Свойство 4. Приращение дистанции в пространстве предметов, приходящееся на один пиксел изображения, на исправленном изображении постоянно. Данное свойство вытекает непосредственно из (3) при постоянных значениях параметров преобразования r и d.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
93
Напомним, что выражения (4) и приведенные свойства справедливы для плоских предметов, расположенных на плоскости Y=0. Чтобы решить задачу для более общего случая, когда наблюдаемая плоскость неколлинеарна ни одной из координатных осей плоскости изображения, необходимо просто произвести афинное преобразование поворота координат вокруг оси Z на угол, обеспечивающий соответствующую коллинеарность [2].
Для нахождения значения r необходимо воспользоваться калибровочной плоскостью с нанесенным на ней калибровочным рисунком (например, квадратами известного размера), расположенной ортогонально главной оптической оси.
Заключение. Из рис. 2 видно, что применение алгоритма коррекции изображения позволяет устранить искажения форм и соотношений размеров предметов, снимаемых видеокамерой системы технического зрения. После устранения искажений перспективной проекцией возможно наложение на изображение обычной евклидовой метрики с целью быстрого вычисления реальных размеров и дистанций в пространстве предметов. При использовании исправленного изображения решение задач локальной ориентации робота существенно упрощается.
СПИСОК ЛИТЕРАТУРЫ
1. Визильтер Ю. В., Желтов С. Ю. и др. Обработка и анализ изображений в задачах машинного зрения. М.: Физматкнига, 2010. 670 с.
2. Порев В. Н. Компьютерная графика. СПб: БХВ-Петербург, 2004. 432 c.
Андрей Алексеевич Блинников Владимир Иванович Бойков Виталий Владимирович Булатов Александр Александрович Кульчицкий Анатолий Владимирович Спорягин
Сведения об авторах — канд. техн. наук, доцент; Санкт-Петербургский национальный
исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: goofinator@mail.ru — канд. техн. наук, доцент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: viboikov@mail.ru — Национальный минерально-сырьевой университет „Горный“, кафедра автоматизации технологических процессов и производств, Санкт-Петербург; старший преподаватель; E-mail: bulatov-vitaly@rambler.ru — канд. техн. наук, доцент; Национальный минерально-сырьевой университет „Горный“, кафедра автоматизации технологических процессов и производств, Санкт-Петербург; E-mail: doz-ku@rambler.ru — аспирант; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: avsporyagin@yandex.ru
Рекомендована кафедрой систем управления и информатики
Поступила в редакцию 13.12.12 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
УДК 681.5.08
А. А. БЛИННИКОВ, В. И. БОЙКОВ, В. В. БУЛАТОВ, А. А. КУЛЬЧИЦКИЙ, А. В. СПОРЯГИН
КОРРЕКЦИЯ ИСКАЖЕНИЯ ПЕРСПЕКТИВОЙ В СИСТЕМЕ ТЕХНИЧЕСКОГО ЗРЕНИЯ*
Предложен алгоритм устранения искажения в изображении, получаемом посредством системы технического зрения мобильного робота. Рассматриваемое искажение является результатом перспективной проекции пространства предметов на плоскость фотоприемной матрицы. Ключевые слова: перспективная проекция, техническое зрение, коррекция искажений.
Введение. Системы технического зрения на базе видеокамер широко используются при управлении движением мобильных роботов. С их помощью решаются задачи локальной ориентации робота в ограниченном пространстве, обнаружения препятствий, определения расстояния до препятствия, формы препятствия и т.п. Видеокамера располагается так, что ее оптическая ось направлена не горизонтально, а под некоторым углом к горизонту. Такая ориентация видеокамеры позволяет использовать триангуляционный метод обработки изображения для анализа ближней и дальней зон прилегающего к роботу пространства [1].
* Работа выполнена при финансовой поддержке ФЦП „Научные и научно-педагогические кадры инновационной России“ на 2009—2013 гг. (соглашение № 14.B37.21.0659).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
90 А. А. Блинников, В. И. Бойков, В. В. Булатов, А. А. Кульчицкий, А. В. Спорягин
Видеокамера дает изображение в перспективной проекции, т.е. проекции трехмерного пространства предметов на плоскость изображения. Как известно, при такой проекции преобразованное пространство не является евклидовым, так как ортогональность осей пространства предметов не сохраняется. Это приводит к искажению форм и соотношений размеров изображения элементов сцены, усложняет вычисление численных расстояний и формы препятствий [2]. В результате решение задачи локальной ориентации робота в реальном пространстве существенно усложняется, требуется разрабатывать специальные технические приемы и методы, позволяющие восстановить взаимное расположение и форму предметов по их плоскому изображению. Наиболее известный технический прием — использование структуированной подсветки пространства предметов [1].
В настоящей работе для решения подобных задач предлагается использовать алгоритм нелинейного преобразования исходного изображения, устраняющий искажения перспективной проекции. При выводе алгоритма предполагается, что робот движется по горизонтальной плоскости, а параметры оптики видеокамеры, высота ее установки и угол наклона к горизонту известны.
Постановка задачи. Рассмотрим процесс формирования изображения двумерных предметов, расположенных в горизонтальной плоскости XOZ пространства предметов, посредством видеокамеры, установленной на высоте h над ней. Оптическая ось объектива видеокамеры направлена под углом α к вертикали и ортогонально плоскости фотоприемной матрицы (рис. 1). Длина отрезка в пространстве предметов, параллельного оси X и расположенного в плоскости XOZ ближе к началу координат на изображении, оказывается больше, чем длина такого же отрезка, но расположенного дальше от начала координат. Два отрезка в плоскости XOZ, параллельные оси Z, т.е. „уходящие в перспективу“, на изображении получаются расположенными под углом к друг другу. Другими словами, на изображении форма фигуры на плоскости XOZ претерпевает „искажение перспективой“ — геометрические размеры ее элементов зависят от координаты z расположения элементов.
Z
с V
h f
Uα О
d
Y
X Рис. 1
Алгоритм компенсации искажений. Абстрагируясь от конкретной оптической схемы объектива, представим сформированное видеокамерой изображение как центральную проекцию пространства предметов на плоскость фотоприемной матрицы. При расположении оптической оси ортогонально плоскости фотоприемной матрицы направим ось U изображения параллельно оси Х, а ось V изображения — ортогонально оси U (см. рис. 1).
Координаты точек изображения получим с помощью методов компьютерной графики [2]. Координаты точки m, расположенной в пространстве предметов на плоскости XOZ (y=0), за-
даются вектором в однородных координатах m = [ x 0 z 1] .
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
91
Этой точке на плоскости изображений соответствует точка µ c однородными координа-
тами µ = [u v λ] , при этом связь между координатами задается матричным уравнением
µ
=
mS
(−d
)R
⎛ ⎝⎜
π 2
−
α
⎞ ⎠⎟
S
(d
)P(r
)С
,
(1)
⎡1 0 0 0⎤
где
S (±d )
=
⎢⎢0 ⎢0
1 0
0 1
0⎥⎥ 0⎥
—
матрица
смещения координат
вдоль оси Z на величину d;
⎢⎣0 0 ±d 1⎦⎥
⎡1 0
0 0⎤
R
⎝⎛⎜
π 2
−
α
⎠⎞⎟
=
⎢⎢0 ⎢0
sin α cos α
− cos α sin α
0⎥⎥ 0⎥
— матрица разворота системы координат вокруг оси X на
⎣⎢0 0
0 1⎥⎦
⎡1 0 0 0⎤
угол
⎛ ⎜⎝
π 2
−
α
⎞ ⎠⎟
;
P(r)
=
⎢⎢0 ⎢0
1 0
0 0
0⎥⎥ r⎥
— матрица центральной
проекции с параметром
(кон-
⎢⎣0 0 0 1⎦⎥
стантой)
r
=
f d
sin
α
,
f — расстояние от плоскости изображения до точки с схода лучей
⎡1 0 0 ⎤
вдоль
оптической
оси
системы;
С
=
⎢⎢0 ⎢0
1 0
0
⎥ ⎥
0⎥
— координатная матрица.
⎢⎣0
0
1
⎥ ⎦
Сворачивание выражения (1) и раздельное вычисление координат точки изображения µ
дает:
u
=
x (z − d )r sin α + rd
+1,
v
=
(z
(z − d ) cos α − d )r sin α + rd
+1 .
(2)
Полученные выражения (2) задают нелинейные зависимости координат u и v точки на
изображении от координат х и z точки в пространстве предметов. Зависимости можно линеа-
ризовать, если в (2) положить α=π/2:
u1
=
x rd + 1
,
v1
=
(z − d) rd + 1
.
(3)
Реализовать условие α=π/2 можно, либо направив видеокамеру вертикально вниз, раз-
местив ее над точкой z = d (x=0, y=0), либо пересчитав координаты u, v точек исходного изо-
бражения в координаты u1, v1 точек исправленного изображения. Так как реализация первого способа часто связана с техническими трудностями, то рассмотрим возможности второго
способа.
Непосредственно из (2) и (3), исключив промежуточные переменные, нетрудно полу-
чить связь координат точек исходного и исправленного изображений:
u
=
v1r
u1 sin α
+1
,
v
=
v1 cos α v1r sin α +1
.
(4)
На основании (4), учитывая, что α и r — константы, получим достаточно простой алго-
ритм формирования исправленного изображения:
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
92 А. А. Блинников, В. И. Бойков, В. В. Булатов, А. А. Кульчицкий, А. В. Спорягин — путем последовательного перебора по строкам пикселов исправленного изображения
вычисляются координаты u1, v1 для каждого пиксела; — по равенствам (4) для каждой пары u1, v1 вычисляются соответствующие координаты
u, v пиксела исходного изображения; — если вычисленным координатам u, v соответствует реально существующий пиксел,
то значение его сигнала приписывается пикселу с координатами u1, v1 исправленного изображения, в противном случае пикселу исправленного изображения приписывается сигнал уровня черного.
На рис. 2 представлен результат применения алгоритма исправления изображения тестового „шахматного поля“. Исходное изображение получено при размещении видеокамеры под углом α=40° к вертикали и при d=1600 мм (рис. 2, а). На этом изображении изначально одинаковые по размеру квадраты поля принимают различные размеры в зависимости от удаленности квадрата от видеокамеры. Применение алгоритма позволяет полностью исправить искажение перспективой и получить изображение (рис. 2, б), аналогичное наблюдаемому сверху. Особенно следует обратить внимание на сохранение резкости границ раздела „шахматных клеток“ на исправленном изображении.
а) б)
Рис. 2
Свойства исправленного изображения определяются параметрами используемой видеокамеры и места ее установки, однако можно выделить и общие свойства.
Свойство 1. Сохранение центра изображения. Действительно, как следует из (4), точке u1=0, v1=0 исправленного изображения соответствует единственная точка u=0, v=0 исходного изображения.
Свойство 2. Горизонтальные прямые v=const исходного изображения преобразуются в горизонтальные прямые v1=const исправленного изображения.
Свойство 3. Вертикальные прямые u=const исходного изображения преобразуются в наклонные v1 = a(u)u1 + b(u) . В результате вертикальные границы исходного изображения отображаются наклонными линиями на исправленном изображении.
Свойство 4. Приращение дистанции в пространстве предметов, приходящееся на один пиксел изображения, на исправленном изображении постоянно. Данное свойство вытекает непосредственно из (3) при постоянных значениях параметров преобразования r и d.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4
Коррекция искажения перспективой в системе технического зрения
93
Напомним, что выражения (4) и приведенные свойства справедливы для плоских предметов, расположенных на плоскости Y=0. Чтобы решить задачу для более общего случая, когда наблюдаемая плоскость неколлинеарна ни одной из координатных осей плоскости изображения, необходимо просто произвести афинное преобразование поворота координат вокруг оси Z на угол, обеспечивающий соответствующую коллинеарность [2].
Для нахождения значения r необходимо воспользоваться калибровочной плоскостью с нанесенным на ней калибровочным рисунком (например, квадратами известного размера), расположенной ортогонально главной оптической оси.
Заключение. Из рис. 2 видно, что применение алгоритма коррекции изображения позволяет устранить искажения форм и соотношений размеров предметов, снимаемых видеокамерой системы технического зрения. После устранения искажений перспективной проекцией возможно наложение на изображение обычной евклидовой метрики с целью быстрого вычисления реальных размеров и дистанций в пространстве предметов. При использовании исправленного изображения решение задач локальной ориентации робота существенно упрощается.
СПИСОК ЛИТЕРАТУРЫ
1. Визильтер Ю. В., Желтов С. Ю. и др. Обработка и анализ изображений в задачах машинного зрения. М.: Физматкнига, 2010. 670 с.
2. Порев В. Н. Компьютерная графика. СПб: БХВ-Петербург, 2004. 432 c.
Андрей Алексеевич Блинников Владимир Иванович Бойков Виталий Владимирович Булатов Александр Александрович Кульчицкий Анатолий Владимирович Спорягин
Сведения об авторах — канд. техн. наук, доцент; Санкт-Петербургский национальный
исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: goofinator@mail.ru — канд. техн. наук, доцент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: viboikov@mail.ru — Национальный минерально-сырьевой университет „Горный“, кафедра автоматизации технологических процессов и производств, Санкт-Петербург; старший преподаватель; E-mail: bulatov-vitaly@rambler.ru — канд. техн. наук, доцент; Национальный минерально-сырьевой университет „Горный“, кафедра автоматизации технологических процессов и производств, Санкт-Петербург; E-mail: doz-ku@rambler.ru — аспирант; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра систем управления и информатики; E-mail: avsporyagin@yandex.ru
Рекомендована кафедрой систем управления и информатики
Поступила в редакцию 13.12.12 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 4