Например, Бобцов

СПОСОБ ОБНАРУЖЕНИЯ ПРЕПЯТСТВИЙ ПЕРЕД ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ БИНОКУЛЯРНОЙ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ

33
УДК 680.5.01:621.384
М. И. ТРУФАНОВ, C. В. ПРИЛУЦКИЙ
СПОСОБ ОБНАРУЖЕНИЯ ПРЕПЯТСТВИЙ ПЕРЕД ТРАНСПОРТНЫМ СРЕДСТВОМ
С ИСПОЛЬЗОВАНИЕМ БИНОКУЛЯРНОЙ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Представлен способ обнаружения препятствий перед движущимся транспортным средством путем анализа изображений, формируемых бинокулярной системой технического зрения. Способ характеризуется большим диапазоном обнаружения препятствий и высокой точностью оценки их координат. Ключевые слова: предупреждение столкновений, техническое зрение, транспортное средство, траектория движения, обнаружение препятствий.
Важнейшей задачей в условиях постоянного роста количества транспортных средств является обеспечение безопасности дорожного движения. Существенную долю риска среди прочих факторов составляют столкновения транспортного средства (ТС) с неподвижными препятствиями и встречными автомобилями [1]. В этой связи особую значимость приобретает создание автоматических средств достоверной оценки расстояния между ТС и препятствием в процессе движения для своевременного предупреждения водителя о возможном столкновении.
Серийно выпускаемые технические средства обеспечивают лишь частичное решение указанной задачи и характеризуются ограниченными функциональными возможностями. Так, известны ультразвуковые радары и системы предупреждения столкновений, применяемые для оценки расстояния до препятствия при парковке. Недостаток таких средств заключается в возможности обнаружения только объемных препятствий и низкой селективности. Известны также системы технического зрения для предупреждения столкновений, функционирующие лишь в условиях хорошей освещенности и не обеспечивающие своевременного обнаружения встречного подвижного объекта при высокой скорости движения.
Значительное внимание системам предотвращения столкновений уделено зарубежными разработчиками [2—6].
В частности, в работе [2] представлена интеллектуальная система помощи водителю, основанная на анализе показаний радара, установленного в переднем бампере. Кроме того, предусмотрена возможность получения данных от бортовой системы глобальной системы навигации для предупреждения о поворотах и перекрестках. Недостатками системы являются
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2010. Т. 53, № 9

34 М. И. Труфанов, C. В. Прилуцкий
невозможность селективной (раздельной) обработки данных о различных препятствиях вследствие особенностей работы радара (широкой диаграммы направленности антенны радара, являющейся датчиком информации) и необходимость использования вспомогательных навигационных данных для своевременного предупреждения водителя об особенностях дорожного движения.
В работе [6] представлен типичный способ обнаружения препятствий, к недостаткам которого относится высокая вероятность появления погрешностей измерений, а также сложность практического применения при различной интенсивности дорожного движения вследствие необходимости получения информации о количестве объектов вспомогательными средствами. Еще одним недостатком является небольшой диапазон рабочих расстояний системы, на которых осуществляется достоверное обнаружение объектов.
Анализ доступных разработок и публикаций позволил установить, что на сегодняшний день не существует средств, в полной мере обеспечивающих решение задачи своевременного обнаружения препятствий. Одной из нерешенных проблем является низкая точность вычисления координат возможного препятствия и недостаточная, для своевременного предупреждения водителя, дальность обнаружения встречного объекта.
В настоящей статье представлен способ, позволяющий обеспечить повышение дальности и точности обнаружения препятствий при помощи бинокулярной системы технического зрения, наблюдающей дорожную обстановку по ходу движения транспортного средства.
Предлагаемый способ заключается в следующем. Система технического зрения (СТЗ), состоящая из двух оптико-электронных датчиков (ОЭД), обеспечивающих бинокулярное техническое зрение, устанавливается на транспортном средстве и ориентируется по направлению движения. При помощи ОЭД СТЗ в различные моменты времени формируются стереопары изображений рабочей сцены, на изображениях выделяются одинаковые объекты и измеряются их трехмерные координаты. По этим координатам каждого объекта определяются траектории движения объектов в кадре. В случае если траектория движения какого-либо объекта (объектов) пересекает траекторию движения транспортного средства, формируется предупреждающий сигнал. Траектории ТС и встречных объектов считаются прямолинейными, скорости движения — постоянными на временном участке между моментами измерений.
Рассмотрим перечисленные операции предлагаемого подхода подробнее. Для получения изображения рабочей сцены на транспортном средстве закрепляют два ОЭД и ориентируют относительно друг друга и ТС согласно схеме, представленной на рис. 1: ОЭД располагают на заданном расстоянии L = 1,1…1,5 м, что обусловлено габаритными размерами ТС; главные оптические оси ОЭД ориентируют под равными углами α/2 к нормали к прямой, проходящей через ОЭД.

Автомобиль L

α/2

α/2
Рис. 1
Данное расположение ОЭД (в отличие от традиционной бинокулярной системы с параллельными главными оптическими осями) обеспечивает повышенную точность измерения пространственных координат объектов за счет увеличенной базы и меньшее минимальное рабочее расстояние за счет ориентации главных оптических осей ОЭД под углом к друг другу.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2010. Т. 53, № 9

Способ обнаружения препятствий перед транспортным средством

35

После получения изображения рабочей сцены каждым из ОЭД производится поиск одних и тех же объектов на разных кадрах изображения. Объект описывается совокупностью контуров, его составляющих. Сопоставление объектов осуществляется на основе расчета
функции принадлежности μ для каждой пары объектов Q1i, Q2j [7] на различных кадрах изображений бинокулярной системы технического зрения:
μ i,j = μид(Q1i, Q2j)∧μидвн(Q1i, Q2j)∧μидг(Q1i, Q2j), где μид, μидвн, μидг — функции принадлежности термам „внутренняя идентичность“, „внешняя идентичность“, „идентичность гистограмм“; индексы i, j определяют очередной анализируемый объект кадра изображения.
Далее осуществляется выбор пары для каждого объекта Q1i с максимальным значением функции
μ i,j = max (μi,j).
( ) ( )Для каждого объекта измеряются его двумерные координаты xQ1 , yQ1 , xQ2 , yQ2 на каж-
дом из кадров стереопары и затем рассчитываются трехмерные координаты объектов (xQ, yQ, zQ):
( ( ) ( ) ( ) ( ))< xQ, yQ, zQ >=M3D xQ1 IQ1 (x, y) , yQ1 IQ1 (x, y) , xQ2 IQ2 (x, y) , yQ2 IQ2 (x, y) ,
где M3D — функция расчета трехмерных координат объектов по их двумерным координатам; IQ1 (x, y), IQ2 (x, y) — изображения, поступающие с оптико-электронных датчиков СТЗ.
Поясним принцип определения координат объекта (препятствия), для чего вычислим координаты (x, y, z) одной из крайних точек Т, определяющих его габариты. Расчет координат осуществляется путем решения системы уравнений, полученной из геометрической схемы, представленной на рис. 2 (мировая система координат совпадает с системой координат правого ОЭД;

X

f x2 α

z2 T(x,y,z)

x1

f z1 Z, z1

Рис. 2
ось Z совпадает с его главной оптической осью; оси X, Y направлены соответственно влево и вверх, ось Y не показана на рисунке):

f x1

=

z

+ x

f

,

⎫ ⎪ ⎪

f x2

=

f

+

(L (

− L

z −

sin α z sin

− α

x) cos2 α ⋅ − x) cos α

sin

α

⎬ ;⎭⎪⎪

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2010. Т. 53, № 9

36 М. И. Труфанов, C. В. Прилуцкий

( )z = − f

− f cos α⋅L+cos α⋅x1 f + x2 f + x2 sin α⋅L− x2 sin3 α⋅L− x2 sin α⋅x1 + x2 sin3 α⋅x1 f 2 cos α⋅sin α+cos α⋅x1 f − x2 sin2 α⋅ f + x2 sin4 α⋅ f − x2 sin α⋅x1 + x2 sin3 α⋅x1

;

( )x =

f cos α⋅L− x2 f − x2 sin α⋅L+ x2 sin3 α⋅L+ f 2 cos α⋅sin α− x2 sin2 α⋅ f + x2 sin4 α⋅ f f 2 cos α⋅sin α+cos α⋅x1 f − x2 sin2 α⋅ f + x2 sin4 α⋅ f − x2 sin α⋅x1 + x2 sin3 α⋅x1

x1 ;

y = ( z + f ) y1 ,
где f — фокусные расстояния ОЭД, x1, x2 — абсциссы объекта на изображениях, формируемых ОЭД; y1 — ордината объекта на изображении, полученном с первого ОЭД.
Ордината точки Т рассчитывается после вычисления координат z и x.
Обнаружение препятствия заключается в анализе траектории движения каждого объек-
та Q рабочей сцены и определении, может ли траектория движения объекта пересечь область,
соответствующую положению СТЗ транспортного средства на траектории его движения. Ес-
ли траектория движения ТС и одна или несколько траекторий движения объектов пересека-
ются, то принимается решение о возможном столкновении.
Для обнаружения препятствия определяются направления движения объектов, текущая
скорость их движения и время возможного столкновения.
Пусть транспортное средство с установленной на нем СТЗ находится в центре системы
координат (рис. 3) и движется с известной скоростью vТС по оси Z. Встречный объект движется с неизвестной скоростью vQ. Получение двух стереопар изображения в различные моменты времени t1 и t2 позволяет определить координаты (z1, x1) и (z2, x2) и затем вычислить проекции скорости vQz, vQx на оси Z и X соответственно.

X Вероятное препятствие
x1 Q1

x2 Q2

vТС 0

z2 z1

Z

Рис. 3

Приведем выражения для расчета координат ТС и встречного объекта в момент времени t:

yТС (t)=0, zТС (t)= vТС t, zQ (t)=z1 + vQz t = z1+(z1–z2)/(t1 – t2)t, xQ (t) = x1 + vQx t = x 1 + (x1– x2)/( x1 – x2) t.
Приравняв правые части уравнений, определяющие соответствующие координаты объектов, определим моменты времени tx, tz, в которые координаты совпадают:
tx = –x1 / ((x 1– x 2)/(t 1 – t 2)), tz=–z1/((z1–z2)/(t1–t2)– vТС).
Оба уравнения линейные и имеют один корень. Критерием пересечения траекторий движения ТС и объекта является равенство времен tx, tz и их положительные значения, определяющие факт возможного столкновения позднее текущего момента времени: tx=tz>0.
Для предотвращения столкновения в расчетных соотношениях должны быть учтены погрешности измерения координат объектов, от которых зависит погрешность расчета вре-

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2010. Т. 53, № 9

Способ обнаружения препятствий перед транспортным средством

37

мени столкновения Δt. В результате условие для определения времени возможного столкно-

вения приобретает следующий вид:

tx > 0, tz>0, |tx – tz| 0.

(2)

Соотношения (1) и (2) позволяют определить время возможного столкновения с пре-

пятствием. В случае если это время меньше предварительно заданного, формируется преду-

преждающий сигнал.

Рассмотренные операции могут быть реализованы на цифровом вычислительном сред-

стве с подключенными к нему двумя ОЭД. В качестве вычислительного средства могут быть

использованы портативный персональный компьютер, а также специально разрабатываемые

средства на базе программируемых логических интегральных схем и микроЭВМ или сиг-

нальных процессоров. В качестве ОЭД целесообразно использовать малогабаритные видео-

камеры (в частности, экспериментальные исследования проводились с использованием ви-

деокамер Logitech 9000).

Представленный способ позволяет повысить точность определения положения вероят-

ного препятствия в пространстве за счет увеличения базы бинокулярной системы техниче-

ского зрения и анализа траекторий движения возможных препятствий, а также расширить

диапазон рабочих расстояний.

Работа выполнена при поддержке гранта Президента РФ, № МК-6351.2010.8.

СПИСОК ЛИТЕРАТУРЫ

1. Московский автомобильно-дорожный институт, школа проф. А. А. Юрчевского [Электронный ресурс]: .

2. Nissan to Equip „Fuga“ / Intelligent Pedal, Intelligent Cruise Control [Электронный ресурс]: .

3. Pat. 7436430 USA, H04N 7/18. Obstacle Detection Apparatus and Method / Takeda, Nobuyuki, Hattori, Hiroshi. 10/923,048; Publ. 14.10.08.

4. Pat. 7389171 USA, B60K 31/00. Single Vision Sensor Object Detection System / J. Rupp. 10/572,542; Publ. 17.07.08.

5. Pat. 7306331 USA, G02C 7/16 .Vision Protection Device for Night Driving / A. Tigert. 11/244,922; Publ. 11.12.07.

6. Pat. 7248968 USA, G06K9/20. Obstacle Detection Using Stereo Vision / J. Franklin Reid. 10/977,675; Publ. 24.07.2007.

7. Нечеткая математическая модель автофокусирующейся системы обработки изображений / М. И. Труфанов, Т. А. Ширабакина // Изв. вузов. Приборостроение. 2003. Т. 46, № 11. С. 12—16.

Максим Игоревич Труфанов Сергей Викторович Прилуцкий

Сведения об авторах — канд. техн. наук, доцент; Курский государственный технический уни-
верситет, кафедра вычислительной техники; E-mail: temp1202@mail.ru — аспирант; Курский государственный технический университет, кафед-
ра вычислительной техники; E-mail: temp1202@mail.ru

Рекомендована кафедрой вычислительной техники

Поступила в редакцию 14.04.10 г.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2010. Т. 53, № 9