ИССЛЕДОВАНИЕ НАЛОЖЕННОСТИ ПЛОСКИХ ОБЪЕКТОВ В ПОЛЕ ЗРЕНИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
14
УДК 004.932.2:681.327
С. С. САДЫКОВ, С. В. САВИЧЕВА
ИССЛЕДОВАНИЕ НАЛОЖЕННОСТИ ПЛОСКИХ ОБЪЕКТОВ В ПОЛЕ ЗРЕНИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Рассмотрена задача определения наложенности друг на друга реальных плоских объектов в поле зрения системы технического зрения при изменении их формы и размеров. Ключевые слова: плоский объект, наложенность, система технического зрения, имитационное моделирование.
В настоящее время системы технического зрения (СТЗ) достаточно широко и успешно применяются во многих отраслях промышленности при таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров или из бункеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов и др. [1].
Основной задачей СТЗ является распознавание в поле зрения: 1) единственного объекта; 2) нескольких (однотипных и разнотипных) изолированных друг от друга объектов; 3) двух и больше (однотипных и разнотипных) соприкасающихся и наложенных друг на друга объектов. На практике при использовании СТЗ возможно возникновение необходимости распознавания перечисленных объектов (как отдельно, так и в совокупности). Распознавание с высокой достоверностью однотипных и разнотипных изолированных друг от друга объектов возможно с помощью несложных алгоритмов [2, 3]. Сложности возникают при распознавании соприкасающихся и наложенных объектов. При этом необходимо знать закон соприкосновения и наложения объектов, поскольку если, например, один плоский объект закрывает большую часть другого, чаще всего не удается идентифицировать закрытый объект. Настоящая статья посвящена статистическому выявлению наложенности двух одно- и разнотипных объектов в поле зрения СТЗ с помощью имитационного моделирования бросания деталей на ленту конвейера. Методика проведения исследований 1. Формирование набора исходных объектов. Для проведения исследований была составлена выборка из более 100 плоских объектов различных типов, включающая в себя как реальные, так и тестовые (сгенерированные) детали.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
Исследование наложенности плоских объектов в поле зрения СТЗ
15
Для определения закона наложения все множество объектов было разделено на группы: — площадные объекты (рис. 1, а); — линейчатые объекты полосовые (рис. 1, б); — замкнутые полосовые объекты (рис. 1, в).
а)
Объект 1 б)
Объект 2
Объект 3
Объект 4 в)
Объект 5
Объект 6
Объект 7
Объект 8
Объект 9
Рис. 1
2. Определение размера поля зрения СТЗ и относительных размеров налагаемых объек-
тов. Для удобства размер поля зрения был выбран 800×800 точек. При этом размер рабочей
области (поля зрения СТЗ) составляет 799×799 точек. Такое ограничение было введено для того, чтобы избежать ситуаций, когда объект касается краев поля зрения. В подобных слу-
чаях объект считается не вошедшим полностью в кадр и СТЗ его не анализирует.
Размеры исходных объектов составляли 10—100 % относительно поля зрения. Для пло-
щадных объектов изменяемым параметром была выбрана площадь, для линейчатых полосо-
вых и замкнутых — длина.
3. Формирование случайных пространственных координат x и y и угла наклона объек-
та. Исходной информацией для генерации изображений плоских наложенных объектов яв-
ляются координаты точек x и y исходного объекта и его угол наклона. Значения параметров
задаются с помощью датчиков случайных чисел [4]. При этом значения угла наклона изме-
няются в пределах от 0 до 360° (шаг 1°), а координат x и y исходного объекта — в пределах от
0 до 799.
4. Определение общего числа испытаний и критерий выяснения наложенности. Репре-
зентативное количество испытаний было выбрано равным 2000.
Наложенность двух любых типов объектов в поле зрения СТЗ определяется маркиров-
кой [5]:
— в поле зрения одна связная компонента — объекты наложены;
— в поле зрения две связные компоненты — объекты не наложены.
Частота наложения k объектов определяется как
k=n N,
(1)
где n — число случаев наложения объектов; N — число испытаний (генеральная выборка).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
16 С. С. Садыков, С. В. Савичева
Структура системы исследований. На рис. 2 представлена схема разработанной системы генерации.
Назначение и особенности работы блоков системы: — исходный объект — содержит исходное изображение объекта для исследования; — блок настройки системы — включает в себя такие параметры, как количество генерируемых изображений, размер поля зрения, размер объекта, число объектов в поле зрения и их виды; — генератор координат x и y — формирует случайные числа в пределах от [Р–1, M–1],
где Р×M — размер поля зрения СТЗ; — генератор угла наклона — случайным образом выбирает значение угла поворота ис-
ходного объекта в интервале от 0—360° с шагом 1°; — блок генерации — формирует изображения в соответствии с параметрами, посту-
пившими с блоков настройки системы, генератора координат x и y и генератора угла наклона; — блок расчета — предназначен для определения частоты наложенности объектов; — база данных — хранит изображения всех объектов, а также таблицы и графики ре-
зультатов проводимых исследований; — блок вывода данных — формирует таблицы по данным, полученным из блока расче-
та, и представляет эти результаты (для удобства анализа) в виде графиков.
Исходный объект
Блок настройки системы
Блок генерации
Генератор координат xиy
База данных
Блок расчета
Генератор угла наклона
Блок вывода данных
Рис. 2
Результаты исследований и их анализ. На рис. 3 приведена часть графиков изменения частоты наложенности для попарных объектов, представленных на рис. 1.
Для площадных объектов исследования показали, что при площади объекта, равной половине площади поля зрения СТЗ, во всех испытаниях имеется наложение (рис. 3, эксперимент 1, А — площадь объекта в процентах от площади поля зрения). Аналогичные результаты были получены и для разнотипных площадных объектов (рис. 3, 2).
Для линейчатых полосовых объектов в результате проведенных исследований было установлено, что для случаев А = 10—40 % п = 5—100, а для А = 100 % п = 900 (рис. 3, 3). Схожие результаты дают эксперименты на разнотипных линейчатых полосовых объектах (рис. 3, 4).
На рис. 3, эксперименты 5 и 6, видно, что у замкнутых полосовых объектов при А = 10—25 % число наложений меньше 600. При А = 30—55 % количество наложений находится в пределах 800—2000, а начиная с 60 % — во всех 2000 испытаниях объекты налагаются.
Эксперименты по наложению площадного и линейчатого полосового объектов показали, что при А = 10—50 % от размеров поля зрения СТЗ n < 600, а при 55—85 % значение n резко возрастает — с 1000 до 2000. В случаях, когда размер объекта более 90 % от размеров рабочей области, во всех испытаниях имеются наложения (рис. 3, 7).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
Исследование наложенности плоских объектов в поле зрения СТЗ
17
Для площадного и замкнутого полосового объектов результаты аналогичны результатам исследования для двух однотипных и разнотипных площадных объектов (рис. 3, 8).
Эксперимент 1 (два однотипных площадных) N
Эксперимент 2 (два разнотипных площадных) N
1500
1500
1000
1000
500 0
10
20 30 40 50
— отсутствие наложения — наличие наложения
А, %
500 0
10
20 30 40
50 А, %
— отсутствие наложения
— наличие наложения
Эксперимент 3 (два однотипных линейчатых полосовых)
N 1800
Эксперимент 4 (два разнотипных линейчатых полосовых)
N 1800
1200
1200
600 0 10
30 50 70 90 А, % — отсутствие наложения
— наличие наложения
600 0 10
30 50 70 90 А, %
— отсутствие наложения — наличие наложения
Эксперимент 5 (два однотипных замкнутых полосовых)
N 1800
1200 600
0 10 30 50 70 90 А, % — отсутствие наложения — наличие наложения
Эксперимент 6 (два разнотипных замкнутых полосовых)
N
1800
1200
600
0 10
30 50 70 90 А, %
— отсутствие наложения — наличие наложения
Эксперимент 7 (площадной и линейчатый полосовой)
N
1800
Эксперимент 8 (площадной и замкнутый полосовой) N
1800
1200 600
1200 600
0 10 30 50 70 90 А, % — отсутствие наложения
— наличие наложения
0 10 30 50 70 90 А, % — отсутствие наложения — наличие наложения
Рис. 3
При распознавании наложенных плоских площадных объектов помимо частоты нало-
жения важно установить, какая часть одного объекта перекрыта другим объектом. Процент
перекрытия одного площадного объекта другим определяется как
Kпл
=
(1 −
Sсост Sобщ
)
⋅100
%,
(2)
где Sсост — площадь двух наложенных объектов (одна связная компонента); Sобщ = S1 + S2 —
общая (суммарная) площадь двух отдельных наложенных объектов S1 и S2.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
18 С. С. Садыков, С. В. Савичева
На рис. 4 приведены графики наложенности плоских площадных объектов (а — при А=20, б — 50 %).
а) N
1600
б) Kпл
1400 1200
40
1000
30
800 600 20
400 10 200
0
0 9 18 27 36 45 54 63 72 Kпл
8 16 24 32 40 48 56 64 72 80 88 96 N
Рис. 4
Из графиков видно, что при размере объектов 20 % от размера поля зрения СТЗ основная часть объектов — неналоженные (более 1500 испытаний), а для А=50 % — в основном во всех испытаниях имеется наложение, а число неналоженных объектов менее 5.
Экспериментально были получены данные о наложенности двух однотипных и разнотипных площадных объектов с различным значением А. Исходя из анализа проведенных исследований можно сделать вывод, что наиболее приемлемым является размер объектов, лежащий в пределах от 10 до 35 % от размеров поля зрения СТЗ. В этом интервале наблюдается наименьшее количество наложенных объектов, что позволяет наиболее точно и быстро их идентифицировать. Для использования объектов больших размеров необходимо увеличивать размер рабочей области с целью сокращения числа наложений.
СПИСОК ЛИТЕРАТУРЫ
1. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний, 2006. 752 с.
2. Савичева С. В. Экспериментальное исследование алгоритма идентификации плоских объектов // Алгоритмы, методы и системы обработки данных. Сб. науч. тр. Муром: Изд.-полиграф. центр МИ ВлГУ, 2010. Вып. 15. С. 153—160.
3. Садыков С. С., Савичева С. В. Алгоритм идентификации реальных плоских объектов с использованием значений их r-функций // Надежность и качество. Тр. междунар. симпозиума / Под ред. Н. К. Юркова. Пенза: Изд-во Пенз. ГУ, 2011. Т. 1. 400 с.
4. [Электронный ресурс]: .
5. Фисенко В. Т., Фисенко Т. Ю. Компьютерные обработки и распознавание изображений: Учеб. пособие. СПб: СПбГУ ИТМО, 2008. 192 с.
Султан Сидыкович Садыков Светлана Владимировна Савичева
Сведения об авторах — д-р техн. наук, профессор; Муромский институт Владимирского го-
сударственного университета им. А. Г. и Н. Г. Столетовых, кафедра информационных систем; E-mail: sadykovss@yandex.ru — аспирантка; Муромский институт Владимирского государственного университета им. А. Г. и Н. Г. Столетовых, кафедра информационных систем; E-mail: savicheva-svetlana2010@yandex.ru
Рекомендована Юго-Западным государственным университетом
Поступила в редакцию 24.10.11 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
УДК 004.932.2:681.327
С. С. САДЫКОВ, С. В. САВИЧЕВА
ИССЛЕДОВАНИЕ НАЛОЖЕННОСТИ ПЛОСКИХ ОБЪЕКТОВ В ПОЛЕ ЗРЕНИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Рассмотрена задача определения наложенности друг на друга реальных плоских объектов в поле зрения системы технического зрения при изменении их формы и размеров. Ключевые слова: плоский объект, наложенность, система технического зрения, имитационное моделирование.
В настоящее время системы технического зрения (СТЗ) достаточно широко и успешно применяются во многих отраслях промышленности при таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров или из бункеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов и др. [1].
Основной задачей СТЗ является распознавание в поле зрения: 1) единственного объекта; 2) нескольких (однотипных и разнотипных) изолированных друг от друга объектов; 3) двух и больше (однотипных и разнотипных) соприкасающихся и наложенных друг на друга объектов. На практике при использовании СТЗ возможно возникновение необходимости распознавания перечисленных объектов (как отдельно, так и в совокупности). Распознавание с высокой достоверностью однотипных и разнотипных изолированных друг от друга объектов возможно с помощью несложных алгоритмов [2, 3]. Сложности возникают при распознавании соприкасающихся и наложенных объектов. При этом необходимо знать закон соприкосновения и наложения объектов, поскольку если, например, один плоский объект закрывает большую часть другого, чаще всего не удается идентифицировать закрытый объект. Настоящая статья посвящена статистическому выявлению наложенности двух одно- и разнотипных объектов в поле зрения СТЗ с помощью имитационного моделирования бросания деталей на ленту конвейера. Методика проведения исследований 1. Формирование набора исходных объектов. Для проведения исследований была составлена выборка из более 100 плоских объектов различных типов, включающая в себя как реальные, так и тестовые (сгенерированные) детали.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
Исследование наложенности плоских объектов в поле зрения СТЗ
15
Для определения закона наложения все множество объектов было разделено на группы: — площадные объекты (рис. 1, а); — линейчатые объекты полосовые (рис. 1, б); — замкнутые полосовые объекты (рис. 1, в).
а)
Объект 1 б)
Объект 2
Объект 3
Объект 4 в)
Объект 5
Объект 6
Объект 7
Объект 8
Объект 9
Рис. 1
2. Определение размера поля зрения СТЗ и относительных размеров налагаемых объек-
тов. Для удобства размер поля зрения был выбран 800×800 точек. При этом размер рабочей
области (поля зрения СТЗ) составляет 799×799 точек. Такое ограничение было введено для того, чтобы избежать ситуаций, когда объект касается краев поля зрения. В подобных слу-
чаях объект считается не вошедшим полностью в кадр и СТЗ его не анализирует.
Размеры исходных объектов составляли 10—100 % относительно поля зрения. Для пло-
щадных объектов изменяемым параметром была выбрана площадь, для линейчатых полосо-
вых и замкнутых — длина.
3. Формирование случайных пространственных координат x и y и угла наклона объек-
та. Исходной информацией для генерации изображений плоских наложенных объектов яв-
ляются координаты точек x и y исходного объекта и его угол наклона. Значения параметров
задаются с помощью датчиков случайных чисел [4]. При этом значения угла наклона изме-
няются в пределах от 0 до 360° (шаг 1°), а координат x и y исходного объекта — в пределах от
0 до 799.
4. Определение общего числа испытаний и критерий выяснения наложенности. Репре-
зентативное количество испытаний было выбрано равным 2000.
Наложенность двух любых типов объектов в поле зрения СТЗ определяется маркиров-
кой [5]:
— в поле зрения одна связная компонента — объекты наложены;
— в поле зрения две связные компоненты — объекты не наложены.
Частота наложения k объектов определяется как
k=n N,
(1)
где n — число случаев наложения объектов; N — число испытаний (генеральная выборка).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
16 С. С. Садыков, С. В. Савичева
Структура системы исследований. На рис. 2 представлена схема разработанной системы генерации.
Назначение и особенности работы блоков системы: — исходный объект — содержит исходное изображение объекта для исследования; — блок настройки системы — включает в себя такие параметры, как количество генерируемых изображений, размер поля зрения, размер объекта, число объектов в поле зрения и их виды; — генератор координат x и y — формирует случайные числа в пределах от [Р–1, M–1],
где Р×M — размер поля зрения СТЗ; — генератор угла наклона — случайным образом выбирает значение угла поворота ис-
ходного объекта в интервале от 0—360° с шагом 1°; — блок генерации — формирует изображения в соответствии с параметрами, посту-
пившими с блоков настройки системы, генератора координат x и y и генератора угла наклона; — блок расчета — предназначен для определения частоты наложенности объектов; — база данных — хранит изображения всех объектов, а также таблицы и графики ре-
зультатов проводимых исследований; — блок вывода данных — формирует таблицы по данным, полученным из блока расче-
та, и представляет эти результаты (для удобства анализа) в виде графиков.
Исходный объект
Блок настройки системы
Блок генерации
Генератор координат xиy
База данных
Блок расчета
Генератор угла наклона
Блок вывода данных
Рис. 2
Результаты исследований и их анализ. На рис. 3 приведена часть графиков изменения частоты наложенности для попарных объектов, представленных на рис. 1.
Для площадных объектов исследования показали, что при площади объекта, равной половине площади поля зрения СТЗ, во всех испытаниях имеется наложение (рис. 3, эксперимент 1, А — площадь объекта в процентах от площади поля зрения). Аналогичные результаты были получены и для разнотипных площадных объектов (рис. 3, 2).
Для линейчатых полосовых объектов в результате проведенных исследований было установлено, что для случаев А = 10—40 % п = 5—100, а для А = 100 % п = 900 (рис. 3, 3). Схожие результаты дают эксперименты на разнотипных линейчатых полосовых объектах (рис. 3, 4).
На рис. 3, эксперименты 5 и 6, видно, что у замкнутых полосовых объектов при А = 10—25 % число наложений меньше 600. При А = 30—55 % количество наложений находится в пределах 800—2000, а начиная с 60 % — во всех 2000 испытаниях объекты налагаются.
Эксперименты по наложению площадного и линейчатого полосового объектов показали, что при А = 10—50 % от размеров поля зрения СТЗ n < 600, а при 55—85 % значение n резко возрастает — с 1000 до 2000. В случаях, когда размер объекта более 90 % от размеров рабочей области, во всех испытаниях имеются наложения (рис. 3, 7).
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
Исследование наложенности плоских объектов в поле зрения СТЗ
17
Для площадного и замкнутого полосового объектов результаты аналогичны результатам исследования для двух однотипных и разнотипных площадных объектов (рис. 3, 8).
Эксперимент 1 (два однотипных площадных) N
Эксперимент 2 (два разнотипных площадных) N
1500
1500
1000
1000
500 0
10
20 30 40 50
— отсутствие наложения — наличие наложения
А, %
500 0
10
20 30 40
50 А, %
— отсутствие наложения
— наличие наложения
Эксперимент 3 (два однотипных линейчатых полосовых)
N 1800
Эксперимент 4 (два разнотипных линейчатых полосовых)
N 1800
1200
1200
600 0 10
30 50 70 90 А, % — отсутствие наложения
— наличие наложения
600 0 10
30 50 70 90 А, %
— отсутствие наложения — наличие наложения
Эксперимент 5 (два однотипных замкнутых полосовых)
N 1800
1200 600
0 10 30 50 70 90 А, % — отсутствие наложения — наличие наложения
Эксперимент 6 (два разнотипных замкнутых полосовых)
N
1800
1200
600
0 10
30 50 70 90 А, %
— отсутствие наложения — наличие наложения
Эксперимент 7 (площадной и линейчатый полосовой)
N
1800
Эксперимент 8 (площадной и замкнутый полосовой) N
1800
1200 600
1200 600
0 10 30 50 70 90 А, % — отсутствие наложения
— наличие наложения
0 10 30 50 70 90 А, % — отсутствие наложения — наличие наложения
Рис. 3
При распознавании наложенных плоских площадных объектов помимо частоты нало-
жения важно установить, какая часть одного объекта перекрыта другим объектом. Процент
перекрытия одного площадного объекта другим определяется как
Kпл
=
(1 −
Sсост Sобщ
)
⋅100
%,
(2)
где Sсост — площадь двух наложенных объектов (одна связная компонента); Sобщ = S1 + S2 —
общая (суммарная) площадь двух отдельных наложенных объектов S1 и S2.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2
18 С. С. Садыков, С. В. Савичева
На рис. 4 приведены графики наложенности плоских площадных объектов (а — при А=20, б — 50 %).
а) N
1600
б) Kпл
1400 1200
40
1000
30
800 600 20
400 10 200
0
0 9 18 27 36 45 54 63 72 Kпл
8 16 24 32 40 48 56 64 72 80 88 96 N
Рис. 4
Из графиков видно, что при размере объектов 20 % от размера поля зрения СТЗ основная часть объектов — неналоженные (более 1500 испытаний), а для А=50 % — в основном во всех испытаниях имеется наложение, а число неналоженных объектов менее 5.
Экспериментально были получены данные о наложенности двух однотипных и разнотипных площадных объектов с различным значением А. Исходя из анализа проведенных исследований можно сделать вывод, что наиболее приемлемым является размер объектов, лежащий в пределах от 10 до 35 % от размеров поля зрения СТЗ. В этом интервале наблюдается наименьшее количество наложенных объектов, что позволяет наиболее точно и быстро их идентифицировать. Для использования объектов больших размеров необходимо увеличивать размер рабочей области с целью сокращения числа наложений.
СПИСОК ЛИТЕРАТУРЫ
1. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний, 2006. 752 с.
2. Савичева С. В. Экспериментальное исследование алгоритма идентификации плоских объектов // Алгоритмы, методы и системы обработки данных. Сб. науч. тр. Муром: Изд.-полиграф. центр МИ ВлГУ, 2010. Вып. 15. С. 153—160.
3. Садыков С. С., Савичева С. В. Алгоритм идентификации реальных плоских объектов с использованием значений их r-функций // Надежность и качество. Тр. междунар. симпозиума / Под ред. Н. К. Юркова. Пенза: Изд-во Пенз. ГУ, 2011. Т. 1. 400 с.
4. [Электронный ресурс]: .
5. Фисенко В. Т., Фисенко Т. Ю. Компьютерные обработки и распознавание изображений: Учеб. пособие. СПб: СПбГУ ИТМО, 2008. 192 с.
Султан Сидыкович Садыков Светлана Владимировна Савичева
Сведения об авторах — д-р техн. наук, профессор; Муромский институт Владимирского го-
сударственного университета им. А. Г. и Н. Г. Столетовых, кафедра информационных систем; E-mail: sadykovss@yandex.ru — аспирантка; Муромский институт Владимирского государственного университета им. А. Г. и Н. Г. Столетовых, кафедра информационных систем; E-mail: savicheva-svetlana2010@yandex.ru
Рекомендована Юго-Западным государственным университетом
Поступила в редакцию 24.10.11 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2012. Т. 55, № 2