Например, Бобцов

РАЗРАБОТКА ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА ОБНАРУЖЕНИЯ ЛЕСНЫХ ПОЖАРОВ МЕТОДОМ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ

50
УДК 614.842.3
А. С. ВАСИЛЬЕВ, А. В. КРАСНЯЩИХ, В. В. КОРОТАЕВ, О. Ю. ЛАШМАНОВ, Д. Ю. ЛЫСЕНКО, О. Н. НЕНАРОКОМОВ, А. С. ШИРОКОВ, С. Н. ЯРЫШЕВ
РАЗРАБОТКА ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА ОБНАРУЖЕНИЯ ЛЕСНЫХ ПОЖАРОВ
МЕТОДОМ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ
Рассмотрены вопросы разработки программно-аппаратного комплекса обнаружения и мониторинга лесных пожаров на базе беспилотного летательного аппарата с применением метода совмещения изображения тепловизионного и телевизионного каналов. Обоснован выбор основных компонентов системы. Описывается архитектура специального программного обеспечения. Ключевые слова: совмещение видеоинформации, оптико-электронная система, система обнаружения и мониторинга лесных пожаров, телевизионная камера, тепловизор.
Введение. Обнаружение лесных пожаров и прогнозирование их распространения является важной народно-хозяйственной задачей. Одним из наиболее эффективных методов своевременного обнаружения является использование видеоинформационного оборудования, установленного на борту беспилотного летательного аппарата (БПЛА) [1].
Принцип совмещения видеоинформации предполагает, что для повышения эффективности видеоинформационной системы используется несколько видеоинформационных каналов с различными характеристиками. Наиболее часто применяют совмещение двух и более
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12

Разработка программно-аппаратного комплекса обнаружения лесных пожаров

51

формирователей видеосигнала, работающих в различных диапазонах спектра, например, видимого и инфракрасного (теплового) [2].
Для обнаружения лесного пожара недостаточно только телевизионных камер оптического диапазона вследствие низкого контраста изображения в условиях задымления. В таком случае на изображении, как правило, не видна активная зона пожара, но наличие на нем окружающих объектов позволяет привязать зону пожара к местности, возможно также определить направление ветра, что позволит сузить зону поиска активной зоны пожара.
Использование тепловизионных камер позволяет зафиксировать активную зону даже в условиях сильного задымления. Речь идет, прежде всего, о фронте пожара — области с наиболее высокой температурой, в которой присутствует открытое пламя. Активная зона в данном случае характеризуется высоким контрастом теплового изображения, что можно использовать в алгоритмах обнаружения.
Поскольку тепловизор выступает как преобразователь температуры в яркость или псевдоцвет, то гораздо удобнее использовать естественное изображение местности, пусть и задымленное. На его фоне можно указать активные области пожара, обнаруженные с помощью тепловизора (рис. 1).

Рис. 1
Обоснование и выбор компонентов системы обнаружения лесных пожаров. Для решения задач обнаружения с использованием БПЛА требуется наличие системы комплексирования видеосигналов с двух устройств — телевизионной (ТВ) и тепловизионной камер. При этом камеры должны быть установлены соосно на одной гиростабилизированной платформе, имеющей возможность поворота в двух плоскостях. Для обработки видеоданных требуется также специализированный вычислитель, позволяющий осуществить видеозахват с этих камер, выполнить алгоритм совмещения изображения с целью обнаружения пожара, видеоархивирование и передачу видеоданных по запросу через канал связи.
В системе, структурная схема которой приведена на рис. 2, тепловизор и ТВ-камера подключены к блоку обработки посредством цифрового интерфейса LVDS через платы видеозахвата 2хLVDS стандарта PC104. Каналы управления тепловизором и ТВ-камерой выполнены на основе интерфейса RS-232. В систему также включены твердотельный накопитель SSD, блок питания и элементы защищенного корпуса. Для передачи видеоинформации и
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12

52 А. С. Васильев, А. В. Краснящих, В. В. Коротаев и др.

управления системой используется интерфейс Ethernet, подключаемый к компьютеру управления БПЛА.

Накопитель SSD SATA
от 80 ГБ

8—32 B (постоянный ток)

SATA

Камерный блок FCB-EH6300
2 Megapixel Block Camera (SONY)

LVDS

Тепловизионный модуль Tau 640 (FLIR)
с объективом

LVDS

Процессорная плата CMA22MVD1860HR-2048
(до +70 °С) или
CMA22MVD1200HR-2048 (до +85 °С)
Плата видеозахвата Picasso 104-LS 2 x LVDS
Элементы корпуса IDAN

Блок питания HPWR104plusHR
PC/104-Plus Peripheral Module 83 Watt Embedded Power
Supply
Ethernet
RS-232 или RS-485 Связь с компьютером
управления

Набор кабелей интерфейса
Рис. 2
Бортовой вычислитель предназначен для решения следующих основных задач: — захват видеосигнала ТВ-камеры и тепловизора; — сжатие видеосигнала ТВ-камеры и тепловизора в режиме реального времени (если сжатие отсутствует в самой ТВ-камере или тепловизоре); — видеоархивирование на встроенном накопителе информации ТВ и тепловизионного сигналов; — обнаружение, распознавание и определение положения пожара на совмещенном изображении; — связь с главным вычислителем БПЛА; — управление работой ТВ-камеры и тепловизора с помощью специального интерфейса. Как показывает практика, процесс видеозахвата и обработки цифровых видеопотоков требует значительной вычислительной мощности. Поскольку описываемое оборудование устанавливается на сравнительно небольших БПЛА, одним из удачных технических решений можно считать использование промышленного компьютера фирмы RTD в качестве бортового вычислителя, выполненного в малогабаритном формфакторе стандарта PC/104 [3]. Кроме того, на это оборудование накладываются дополнительные требования: — питание — 12 В (± 5 %), постоянный ток, — максимальная потребляемая мощность — не более 100 Вт, — диапазон рабочих температур — от –20 до +85 °С, — относительная влажность — до 95 % (без образования конденсата), — канал связи с основным вычислительным блоком — RS-485, полудуплекс, скорость 115 кБод.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12

Разработка программно-аппаратного комплекса обнаружения лесных пожаров

53

В качестве ТВ-камеры выбран блок FCB-EH6300 производства фирмы Sony [4]. Камера
имеет встроенный КМОП-фотоприемник разрешением 1920×1080 пкс, диапазон освещенности 0,5—100 000 лк, 20-кратный оптический трансфокатор, позволяющий изменять горизонтальное поле зрения камеры от 2,9 до 55,4°. Подключение производится через цифровой интерфейс LVDS.
Оценить разрешающую способность камеры, работающей по цифровому интерфейсу, можно, определив расстояние в пространстве предметов, эквивалентное шагу элементов фотоприемной матрицы КМОП-фотоприменика в пространстве изображений l:

l

=

2Htg ⎛⎝⎜ ah

ω 2

⎠⎟⎞

,

где H — высота полета БПЛА; ω — поле зрения камеры; ah — количество элементов изо-
бражения по горизонтали. Ширину зоны обзора L можно оценить по формуле:

L

=

2Htg

⎜⎝⎛

ω 2

⎠⎞⎟

.

Для решения задачи привязки совмещенного изображения к местности требуется различение в оптическом канале объектов типа „дорога“, „лесополоса“, „отдельно стоящее здание“, „опора ЛЭП“ и т.п. В этом случае эквивалентный шаг элементов фотоприемной матрицы должен быть не более одной четвертой от размера объекта. В большинстве случаев удовлетворительным значением следует считать 0,2 м.
Камера оптического диапазона высокого разрешения (1920×1080 пкс) предпочтительнее
камеры стандартного разрешения (640×480), так как последняя способна обеспечить удовлетворительную разрешающую способность только при малой высоте или при минимальном угле поля зрения (см. таблицу).

H, м
300 700 1500

l/L

1920×1080 пикселов

ω = 2,9°

ω = 55,4°

0,007/15

0,16/315

0,018/35

0,39/735

0,035/75

0,8/1535

640×480 пикселов

ω = 2,9°

ω = 55,4°

0,028/15

0,64/315

0,072/35

1,56/735

0,140/75

3,2/1535

Тепловизор необходим для определения активной зоны (фронта) пожара, в том числе в условиях сильной задымленности наблюдаемого участка леса. Исходя из этих соображений лучше использовать тепловизор, работающий в диапазоне 8—14 мкм, так как в этом спектральном интервале отсутствуют полосы поглощения углекислого газа и воды.
В качестве тепловизора выбран FLIR Tau 640 с фокальной матрицей на неохлаждаемых микроболометрах [5]. Спектральный диапазон чувствительности 7,5—13,5 мкм, разрешение
640×480 пкс, температурная чувствительность NETD — менее 0,5 °С, частота кадров — 30 Гц. Поле зрения тепловизора по горизонтали — 25°, по вертикали — 20°.
Программное обеспечение системы. Для выполнения задачи мультиплексирования полученной информации от ТВ и тепловизионного каналов создано специальное программное обеспечение (СПО) с использованием архитектуры „клиент-сервер“ (рис. 3).
Каждый малогабаритный цифровой блок обработки (МЦБО) представляет собой сервер, обеспечивающий выдачу видеоряда клиенту — вычислительному блоку (БВ). МЦБО включает в себя блоки ввода данных от видеоисточников; блок компиляции (решение задач масштабирования и совмещения изображений); блок управления (прием, применение управляющих

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12

54 А. С. Васильев, А. В. Краснящих, В. В. Коротаев и др.
команд к соответствующим блокам МЦБО, хранение настроек пользователя); фильтр сжатия (кодирование выходного видеоряда с использованием стандартных кодеков); блок приема/передачи (обеспечивает двустороннюю передачу сигналов между МЦБО и БВ).

Рис. 3
Вычислительный блок содержит блок коммутации (предназначен для выбора активного, с точки зрения пользователя, МЦБО); фильтр распаковывания (для раскодирования выходного видеоряда с использованием стандартных кодеков); блок цифровой обработки изображений (ЦОИ), предназначенный для применения пространственных фильтров, фильтров электронной стабилизации, сопровождения и псевдокодирования; блок записи результирующего видеоряда в файл; блок пользователя, обеспечивающий управление процессом съема, обработки видеоданных, а также индикации результата пользователю.
Заключение. Эффективность решения задачи обнаружения и мониторинга активных зон лесных пожаров увеличивается за счет объединения информации, поступающей с телевизионной камеры и тепловизора. Такой подход позволяет не только определить очаги возгорания участков лесного массива, но и сохранить наглядность результатов съемки.

СПИСОК ЛИТЕРАТУРЫ

1. Воробьев Ю. Л., Акимов В. А., Соколов Ю. И. Лесные пожары на территории России: Состояние, проблемы. М.: ДЭКС-ПРЕСС, 2004. 312 с.

2. Васильев А. С., Коротаев В. В., Краснящих А. В., Лашманов О. Ю., Ненарокомов О. Н. Применение совмещения тепловизионного и телевизионного изображений при обследовании строительных конструкций зданий и сооружений // Изв. вузов. Приборостроение. 2012. Т. 55, № 4. С. 12—16.

3. PC/104 Single Board Computer Top Level Selection Guide [Электронный ресурс]: .

4. Sony Color Camera Module FCB-EH6300. Technical Manual. Sony Corporation, 2011. 62 p.

5. Tau 640 Slow Video Camera. User Manual. Flir Commercial Systems. October 2010. 81 p.

Александр Сергеевич Васильев

Сведения об авторах — аспирант; Санкт-Петербургский национальный исследовательский
университет информационных технологий, механики и оптики, кафедра оптико-электронных приборов и систем; E-mail: yoshikawa06@gmail.com

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12

Разработка программно-аппаратного комплекса обнаружения лесных пожаров

55

Андрей Владимирович Краснящих Валерий Викторович Коротаев
Олег Юрьевич Лашманов Дмитрий Юрьевич Лысенко Олег Николаевич Ненарокомов Анатолий Сергеевич Широков Сергей Николаевич Ярышев

— канд. техн. наук, доцент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра оптико-электронных приборов и систем; E-mail: crus@mail.ru
— д-р техн. наук, профессор; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра оптико-электронных приборов и систем; заведующий кафедрой, декан факультета; E-mail: korotaev@grv.ifmo.ru
— аспирант; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра оптико-электронных приборов и систем; E-mail: o.lashmanov@gmail.com
— Группа компаний „Транзас“, Санкт-Петербург; E-mail: Dmitry.Lysenko@transas.com
— Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кафедра оптико-электронных приборов и систем; ассистент; E-mail: 4307_globl@mail.ru
— Группа компаний „Транзас“, Санкт-Петербург; E-mail: Anatoliy.Shirokov@transas.com
— канд. техн. наук, доцент; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики; E-mail: ysn63@mail.ru

Рекомендована кафедрой оптико-электронных приборов и систем

Поступила в редакцию 13.10.11 г.

ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 12