ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ НА ОСНОВЕ ГРАДИЕНТОВ ЯРКОСТИ
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
5 КОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ COMPUTER SCIENCE
УДК 621.391.037.372
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ НА ОСНОВЕ ГРАДИЕНТОВ ЯРКОСТИ1
Г.А. Кухаревa, Ю.Н. Матвеевb, c, Н.Л. Щеголеваd
a Западно-Поморский технологический университет в Щецине, Щецин, Польша, gkukharev@wi.zut.edu.pl b Университет ИТМО, Санкт-Петербург, Россия, matveev@mail.ifmo.ru c ООО «ЦРТ-инновации», Санкт-Петербург, Россия, matveev@speechpro.ru d Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
Приведен анализ существующих подходов к формированию штрих-кодов, дано описание типовой структуры системы формирования штрих-кодов по изображениям лиц. Предложен метод формирования линейного штрих-кода по изображениям лиц, основанный на разностных градиентах яркости, представляющих изображения лиц в форме исходных признаков. Далее эти признаки усредняются на ограниченном числе интервалов, квантуются в диапазоне десятичных цифр от 0 до 9 и преобразуются в стандартный штрих-код. Тестирование выполнено на базе Faces94 и базе композитных лиц различных возрастов. В рамках тестов показано, что сформированный штрих-код не изменяется при изменении локальных размеров лиц, их повороте в плоскости XY, изменении ракурса и зеркальном повороте вокруг вертикальной оси, а также при изменениях речевой мимики и возрастных изменениях лиц. Предложенный метод предлагает новое решение для практики использования в реальных условиях – при наличии динамики изменения параметров изображений лиц. При этом подход не требуют больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования линейных штрих-кодов в рамках мобильных систем и систем реального времени. Ключевые слова: изображения лиц, градиенты яркости, штрих-код, системы реального времени.
СREATING OF BARCODES FOR FACIAL IMAGES BASED ON INTENSITY GRADIENTS1
G.A. Kukhareva, Yu.N. Matveevb, c, N.L. Shchegolevad
a Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl b ITMO University, Saint Petersburg, Russia, matveev@ mail.ifmo.ru c «STC-Innovation» LLC, Saint Petersburg, Russia, matveev@speechpro.com d Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
The paper provides analysis of existing approaches to the generating of barcodes and description of the system structure for generating of barcodes from facial images. The method for generating of standard type linear barcodes from facial images is proposed. This method is based on the difference of intensity gradients, which represent images in the form of initial features. Further averaging of these features into a limited number of intervals is performed; the quantization of results into decimal digits from 0 to 9 and table conversion into the standard barcode is done. Testing was conducted on the Face94 database and database of composite faces of different ages. It showed that the proposed method ensures the stability of generated barcodes according to changes of scale, pose and mirroring of facial images, as well as changes of facial expressions and shadows on faces from local lighting. The proposed solutions are computationally low-cost and do not require the use of any specialized image processing software for generating of facial barcodes in real-time systems. Keywords: facial images, brightness gradients, barcode, real-time systems.
Введение
Кодирование с помощью штрих-кодов разнообразных товаров, платежных счетов и финансовых документов, рекламных объявлений и услуг широко и бесповоротно вошло в нашу повседневную жизнь. Чтение таких штрих-кодов осуществляется просто и мгновенно с помощью специальных считывающих устройств, а понимание их содержательной части вообще не составляет труда, поскольку здесь решается задача в рамках поиска по упорядоченному списку.
Идеи использования штрих-кодов входят и в совершенно новые области, в том числе, например, и в области биометрии и боди-арта [1, 2]. Так, в [1] впервые в современной истории было показано применение штрихового кода для идентификации людей в момент реализации ими электронных платежей, а в [2] штрих-код, нанесенный на тело человека, рекламируется как модная татуировка. Через 10 лет после опубликования работы [1] авторы работ [3, 4] отметили, что вся информация о человеческом лице содержится в горизонтальных линиях, таких как линия бровей, линия глаз и линия губ. Эту информацию мож-
1 Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации
(субсидия 074-U01). 1 This work was financially supported by the Government of the Russian Federation (Grant 074-U01)
88
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
но представить в виде набора черных и белых линий, т.е. в виде некоторого бинарного кода, который авторы назвали «биологическим штрих-кодом». А в работе [5] отмечается, что биологический штрих-код, трансформированный в стандартный штрих-код, можно использовать для идентификации людей. Методы построения и применения биологического штрих-кода в задаче сравнения изображений лиц были представлены в монографии [6], хотя их широкое применение остается под вопросом, что также отмечено в [6]. Этот вывод основывается на том, что представление изображений лиц в форме бинарных кодов может быть полезным только в случае задачи классификации обобщенного класса «изображения лиц людей» среди других классов изображений, не включающих лица.
Наиболее полно история задач построения штрих-кодов по изображениям лиц и возможные подходы к ее решению представлены в работах [7–9]. В работе [7] представлен метод формирования штрихкода непосредственно по заданному изображению лица. Этот метод основан на вычислении гистограммы яркости исходного полутонового изображения, усреднении гистограммы на ограниченном числе интервалов яркости, последующем квантовании в диапазоне десятичных цифр от 0 до 9 и табличном преобразовании полученного результата в стандартный линейный штрих-код EAN-8.
Отметим, что предложенный в [7] метод может иметь некоторые ограничения в практике его применения в биометрии, поскольку в качестве основных признаков исходных изображений лиц используются гистограммы их яркости. С другой стороны, например, гистограммы яркости, используемые как признаки, обеспечивают высокую результативность поиска изображений с лицами в больших базах данных [10] и часто являются единственным инструментом в системах поиска изображений по содержанию (Content-based image retrieval – CBIR).
Тем не менее, в настоящей работе, развивающей идеи [7], предлагается новый подход для представления изображения лица в форме линейных штрих-кодов по типу EAN-8, EAN-13 (или UPS) в условиях заметной динамики изменения параметров изображений лиц. При этом подход не требует больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования линейных штрих-кодов в реальном времени и реализации их в рамках мобильных систем.
Далее в работе рассматривается структура и функции системы формирования штрих-кода для изображений лиц, метод формирования штрих-кода на основе разностных градиентов изображений лиц, результаты его тестирования в рамках выполненных компьютерных экспериментов. Моделирование выполнено в среде пакета MATLAB: соответствующие скриншоты содержат исходные изображения, промежуточные результаты и сформированные штрих-коды.
Система формирования штрих-кода
Структура системы формирования штрих-кода представлена на рис. 1 и включает четыре основных блока: 1 – блок предобработки исходных изображений; 2 – экстрактор признаков; 3 – кодер признаков; 4 – генератор штрих-кода; а также вход и выход системы.
Исходное изображение
1 БЛОК предобработки изображений
2
ЭКСТРАКТОР признаков
Штрих-код EAN-8
3
КОДЕР признаков
4 ГЕНЕРАТОР
штрих-кода
Рис. 1. Структура системы формирования штрих-кода
На вход системы поступает исходное изображение, а на выходе получаем сформированный по этому изображению штрих-код стандартного типа. В блоке 1 решаются две основные задачи. Первая – анализ исходного изображения с оценкой его параметров – размера, шкалы цветности, а также угла отклонения линии глаз от горизонтали. Вторая – поворот изображения на плоскости, если это необходимо исходя из результатов анализа, корректировка размеров изображения и выравнивание его яркости. Примеры решения этих задач можно найти, например, в монографии [6].
Часто в биометрических системах распознавания людей по лицам человек, стоящий перед камерой, старается выполнить условия, обеспечивающие стабильность съемки – захват портрета анфас при нейтральном выражении лица. Эти условия являются необходимыми для формирования стабильного штрих-кода. Однако в реальных сценариях достаточно сложно выдержать эти условия, поэтому необходимо допустить некоторые изменения изображений лиц, поступающих на вход системы. Так, в системах, основанных на идеях бимодальности [11], входными данными являются не только лица, но и голос человека. В этом случае мимика человека изменяется в процессе взаимодействия с системой – при произно-
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
89
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
шении некоторого контрольного слова или ответа на заданный вопрос. Примеры возможных изменений лиц для этих случаев показаны на рис. 2 (изображения взяты из базы изображений лиц Faces94 [12]).
1/4
1/4 3/4 1/4
1/4
1/4
аб
Рис. 2. Изменение мимики говорящего человека (а) и выбор области интересов (б)
Обеспечение стабильности кодирования изображений лиц в условиях, показанных на рис. 2, зависит от выбора признаков, представляющих лица. Эта задача решается в блоке 2 (экстракторе признаков) (рис. 1). В предлагаемом ниже методе экстракция признаков осуществляется только из верхней области лица, в которую не включается область ниже середины промежутка нос/рот (область ¾ на рис. 2, б). Верхняя (выбранная) часть лица не связана с мимикой произношений, что может обеспечить стабильность представляющих ее признаков.
При этом блок 3 (рис. 1) системы решает задачу кодирования признаков с представлением их требуемым числом десятичных цифр. Это достигается усреднением признаков на ограниченном числе интервалов и их квантованием в диапазоне десятичных цифр от 0 до 9. Именно на этом этапе элиминируется неучтенное ранее влияние динамики изменений параметров исходных изображений (и значений признаков) на результат кодирования.
Задача блока 4 в этом случае становится тривиальной – перекодирование результата, полученного в блоке 3, по таблицам в соответствии с алгоритмом [13] формирования стандартного штрих-кода. При этом алгоритм [13] включает вычисление контрольной суммы для кода, полученного в блоке 3, и преобразование этого кода в бинарную матрицу, представляющую исходное изображение в графической форме штрих-кода стандартного вида.
Предлагаемые в работе подходы позволяют формировать линейные штриховые коды по изображениям лиц в формате EAN-8 и могут быть применены для формирования других линейных штрих-кодов, например EAN-13 и UPS [13].
Метод формирования штрих-кода
Пусть исходное изображение, представленное в шкале GRAY, имеет размер M×N, и задачей явля-
ется представление этого изображения в форме стандартного штрих-кода EAN-8.
Первоначальная экстракция признаков из исходного изображения основана на процедуре вычисле-
ния разностных градиентов яркости двух зеркально расположенных окон высотой H ≥ 1 пикселей и дли-
ной, равной ширине исходного изображения. Идею метода формирования разностных градиентов и их
кодирования в скользящем окне поясняет рис. 3.
Окна синхронно скользят по изображению лица с шагом S ≥ 1. На каждом шаге скольжения вычис-
ляются расстояния (например, в эвклидовой метрике) между соответствующими областями изображений,
«накрываемых окнами». Скольжение окон производится в области интереса, определяемой ¾ области
лица, что показано на рис. 3, а. При этом скольжение окон начинается практически на границе «воло-
сы/лоб», а заканчивается на нижней границе области носа или под ним. Разностные градиенты в окнах,
преобразованные в расстояния, подчеркивают перепады значений яркости на границе волосы/лоб, грани-
цах линии бровей, линии глаз и линии нос/губы – т.е. именно по линиям «биологического кода лица».
Вычисленные значения расстояний представляют, таким образом, интегральную характеристику наиме-
нее изменяемой части лица в условиях заметной динамики параметров изображений с лицами.
В исходном положении два окна U и D, состоящие из H строк каждое, расположены зеркально от-
носительно оси X. Всего выполняется T = LA шагов скольжения, причем L – длина кода, а A – интервал
усреднения, определяемый числом признаков, по которым производится их усреднение.
При формировании штрих-кода в формате EAN-8 L = 7, а параметр A ≥ 2 в общем случае выбира-
ется из условия непересечения нижней границы (M – H) области интересов:
T = LA ≤ (M – H).
(1)
При этом значение T должно примерно приходиться на нижнюю границу носа или между носом и
губами, что примерно соответствует ¾ высоты области лица. Это позволит исключить из рассмотрения
нижнюю часть лица и, таким образом, элиминировать влияние эмоций и лицевой мимики на стабиль-
ность формирования штрих-кода. С другой стороны, если расчетное значение T > (M – H), то необходимо
90
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
увеличивать размер исходного изображения до выполнения условия (1). Такое увеличение выполняется в блоке 1 системы на этапе коррекции размера изображения, о чем говорилось выше.
H d(t) H 10
8 75 488 4 10 5
T8 6
0 в
Штрих-код EAN-8
U4 Dt
2 1 20 40 56
а бг
Рис. 3. К пояснению идеи метода градиентов: изображение с начальным и конечным положением верхнего (U) и нижнего (D) прямоугольных окон (а); плавная кривая расстояний d(t) между окнами и ее квантованное
представление (ломаная кривая) (б); представление квантованных расстояний в форме бар-кода из 7 цифр (в) и сформированный штрих-код (г)
Теперь определим расстояние d(t) между окнами U и D:
d(t) = || U(t) – D(t)||, t=1, 2,.., T,
(2)
где U(t) и D(t) – окна для шага скольжения t.
Полученный по (2) результат представлен на рис. 3, б, в форме плавной кривой. Далее этот резуль-
тат передается на вход блока 3, где осуществляется его нормирование:
d (t) d (t) / max(d ), t = 1,..., T.
(3)
Полученные по (3) значения усредняются на временном интервале A и затем квантуются в диапа-
зоне десятичных цифр от 0 до 9 с помощью масштабного множителя scale:
d l
f
[ scale A
A
d ( A(l
j 1
1)
j )],
l=1, 2,..., L,
(4)
где f [·] – округление до целого с отбрасыванием дробной части; scale – масштабный множитель и
9 < scale < 10, не целое. Тем самым в (4) также достигается представление вектора расстояний в форме десятичного кода
заданной длины. Результат (4) показан на рис. 3, в. Полученный по (4) результат с выхода блока 3 преда-
ется на вход блока 4, где формируется окончательный штрих-код, состоящий из 8 цифр. Здесь используется стандартный алгоритм, описанный в [13]. Штрих-код для этого случая показан на рис. 3, г.
Эксперименты
Цель поставленных экспериментов – проверка стабильности формирования штрих-кодов для изображений лиц в условиях заметной динамики их характеристик. Эксперименты выполнены на базе фотопортретов Faces94 [12] и базе композитных лиц, представляющих изменения возраста человека [14].
Тест 1. Тест выполнен на базе изображений лиц Faces94. Использовались 100 классов по 11 изображений в каждом классе этой базы, для которых определялся штрих-код EAN-8. Исходные изображения были переведены в формат GRAY и приведены к размеру 112×92 пикселя. При этом изображения не подвергались какой-либо предобработке с целью выравнивания размера, позиций линии глаз и антропометрических характеристик лиц. Пример результата для выполненного теста приведен на рис. 4.
Из каждого класса выбирался портрет под номером 1, и для него определялся штрих-код для следующих значений параметров управления процессом кодирования:
{H = 23; S = 1; L = 7; A = 8; T = 56; scale = 9,5}. Затем для следующих 10 портретов каждого класса (с номера 2 до номера 11) также определялись штрих-коды по тем же параметрам управления процессом кодирования. В результате тестирования по всем 100 классам было получено 775 связанных пар изображений, имеющих одинаковые штрих-коды. Эти связанные пары изображений принадлежали только своим классам, что составило более 70% для 1000 тестовых изображений или в среднем по 7 пар на класс. При этом все тестовые изображения лиц имели существенную динамику изменения характеристик, о которой говорилось выше и которую можно увидеть на рис. 2.
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
91
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
Корреляция как дополнительный инструмент проверки специально введена в этот тест. В этом случае, например, корреляция свидетельствует почти о 100%-ном их подобии между векторами расстояний d(t) для исходных изображений лиц, в связи с чем можно было ожидать и полного совпадения штрихкодов для них. Именно этот штрих-код и показан на рис. 4, д. Оценивая этот результат, можно отметить, что, несмотря на заметную динамику изменений параметров изображений лиц базы Faces94 (например, на рис. 4 – разную мимику лиц), были получены одинаковые штрих-коды.
99 86 45 76 10
Класс/номер 100/1
Класс/номер 100/11
Correlation=0,96 1
5 0
1 234 5 678 г
t Штрих-код EAN-8
0 20 40 56
аб
в
д
Рис. 4. Финишный результат для первого теста: первое (а) и последнее изображение (б), участвовавшие в
тесте; фазовая корреляция между соответствующими признаками (в); квантованные значения расстояний
в форме бар-кода для этих изображений (г); полученный штрих-код (д)
Штрих-код EAN-8
Штрих-код EAN-8
Рис. 5. Пример результатов для изображений с различной мимикой
На рис. 5 показан результат формирования штрих-кода для изображений, отличающихся мимикой и изменениями в области глаз. Здесь приведены две пары изображений лиц и соответствующий каждой паре штрих-код в стандарте EAN-8. При этом можно заметить следующее: изменения мимики лиц, изменение размера области лиц, а также и изменения в области глаз (глаза открыты или закрыты) не влияют на сформированный штрих-код. Эти результаты также получены в рамках теста 1.
Тест 2. Цель теста 2 – проверка стабильности формирования штрих-кода при изменении яркости контрольных изображений. Тест 2 реализован по тем же значениям параметров управления процессом кодирования, что тест 1. Однако, в отличие от теста 1, яркость контрольных изображений изменялась в пределах ±40% относительно исходной яркости изображений базы Faces94. Полученные результаты сведены в таблицу. При этом можно отметить следующее: при изменении яркости на ±20% относительно исходной результат остается достаточно стабильным; при изменении яркости на ±40% относительно исходной число пар одинаковых штрих кодов уменьшилось почти вдвое.
Тест 1 2 3 4 база 5 6 7 8
Изображения
Яркость % 140 130 120 110
100
90
80
70
60
Число пар 487 584 639 744 775 746 699 560 385
Таблица. Изменение числа найденных пар изображений при изменении их яркости
Тест 3. Целью теста была проверка стабильности формирования штрих-кода при зеркальном по-
вороте тестового изображения и сохранения этой стабильности при дополнительной динамике изменений
параметров изображений – шумов при съемке, локальных размеров лиц, поворота лица в плоскости XY,
92
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
поворота по ракурсу, а также при изменениях мимики лица. В рамках этого теста изображения лиц каждого класса (от номера 2 до номера 11) зеркально поворачивались относительно вертикальной оси, и для них определялись штрих-коды по тем же значениям параметров управления процессом кодирования, что и в тесте 1. При этом число найденных пар для 100 классов изображений составило 607 – в среднем по 6 пар на каждый класс. Некоторые пары изображений лиц с одинаковыми кодами показаны на рис. 6. При этом отчетливо видно, что между изображениями внутри своих пар заметны существенные отличия по размерам области лиц, мимике, ракурсу, тенях на области глаз.
Тест 4. Цель последнего теста – проверка стабильности формирования штрих-кода при «старении» лица. В эксперименте были использованы 38 композитных изображений лиц [14], соответствующих изменению возраста 20–24 года и 60–64 года. Таким образом, возрастные изменения лиц прослеживались на интервале примерно 40 лет. Отметим, что на этом интервале фазовая корреляция между изображениями снижается до значения «0,2», а коэффициент структурного подобия снижается до значения 0,65, хотя их начальные значения равны 1. Это говорит о существенном изменении формы, размера и текстуры соответствующих изображений, моделирующих старение лиц.
Рис. 6. Примеры пар изображений лиц с одинаковыми штриховыми кодами
Значения параметров управления процессом кодирования были выбраны на этапе решения вариа-
ционной задачи и приняты следующими:
{H = 22; L = 7; A = 7; T = 49; scale = 9,7–9,9},
(5)
при этом параметр scale можно было выбирать любым из приведенного диапазона.
Изображение 1
Изображение 38
1
0,8
89 86 56 75 10 Индекс SSIM 5
0,6 0 1 2 3 4г 5 6 7 8 0,4 Корреляция Штрих-код EAN-8
20–24 года
60–64 года
0,2 0
20 38
аб
вд
Рис. 7. Формирование штрих-кода при моделировании старения лиц: лица, соответствующие возрасту
20–24 (а) и 60–64 года (б); изменения значений корреляции и индекса структурного подобия SSIM [15]
при изменении возраста лиц (в); квантованное представление градиентов яркости в форме бар-кода (г);
соответствующий ему штрих-код (д)
Результаты выполненного эксперимента представлены на рис. 7, где показаны первое и последнее изображения базы [12], промежуточные оценки их подобия (рис. 7, в), бар-код квантованных и усредненных расстояний (рис. 7, г) и соответствующий им штрих-код (рис. 7, д). В бар-коде (рис. 7, г) светлый столбик определяет контрольное значение для первых 7 квантованных и усредненных значений расстояний.
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
93
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
Экспериментом показано, что в рамках метода разностных градиентов и параметров (5), штрих-код остается постоянным при моделировании старения лиц, хотя изменения формы, размера и текстуры соответствующих изображений были отмечены как формальными методами, так и заметны «на глаз».
Заключение
В работе рассматривается задача формирования линейного штрих-код стандартного типа для изображений лиц. Для ее решения предложен метод, основанный на разностных градиентах яркости, представляющих изображения лиц в форме исходных признаков. Неучтенное в исходных признаках влияние динамики изменений параметров исходных изображений элиминируется их усреднением на ограниченном числе интервалов и квантованием в диапазоне десятичных цифр от 0 до 9. Полученный результат преобразуются затем в стандартный штрих-код. При этом штрих-коды формируются непосредственно по исходному изображению лица и, таким образом, содержат информацию о лице конкретного человека.
Проверка выполнена на этапе компьютерного моделирования на базе Faces94 и базе композитных лиц, моделирующих старение лица. Показано, что результат остается стабильным при изменении локальных размеров лиц, повороте лица по ракурсу и зеркальном повороте исходного изображения вокруг вертикальной оси, а также при изменениях мимики лица и его старении. Сформированный таким образом штрих-код может быть использован для индексирования, идентификации, распознавания и поиска людей, а предложенные методы определяют направления дальнейших исследований и применений штрих-кодов в практике.
Литература
1. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US N 5878155; заявл. 05.09.96; опубл. 02.03.99.
2. Barcode Tattoos of Scott Blake [Электронный ресурс]. Режим доступа: http://www.barcodeart.com/store/wearable/tattoos/, свободный. Яз. англ. (дата обращения 24.02.2014).
3. Dakin S.C., Watt R.J. Biological «bar codes» in human faces // Journal of Vision. 2009. V. 9. N 4. P. 1–10. 4. Goffaux V., Dakin S.C. Horizontal information drives the behavioral signatures of face processing // Fron-
tiers in Psychology. 2010. V. 1. Article N 143. 5. Facial Barcodes Help Us Identify People [Электронный ресурс]. Режим доступа:
http://www.barcodesinc.com/news/?p=92, свободный. Яз. англ. (дата обращения 24.02.2014). 6. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания
изображений лиц в задачах биометрии / Под ред. М.В. Хитрова. СПб: Политехника, 2013. 388 с. 7. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Экспресс-метод генерации штрих-кода по изображени-
ям лиц // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 2 (90). С. 99–106. 8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes // Proc. of the Federated Conference on Computer Science and Information Systems, FedCSIS 2012. Wroclaw, Poland, 2012. Art. N 6354334. P. 755–762. 9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes // International Journal of Computer Science and Application. 2013. V. 10. N 1. P. 78–97. 10. Forczmanski P., Kukharev G. Comparative analysis of simple facial features extractors // Journal of RealTime Image Processing. 2007. № 1. P. 239–255. 11. Матвеев Ю.Н. Технологии биометрической идентификации личности по голосу и другим модальностям // Инженерный журнал: наука и инновации. 2012. № 3 (3). С. 5. 12. Collection of Facial Images: Faces94. [Электронный ресурс]. Режим доступа: http://cswww.essex.ac.uk/mv/allfaces/faces94.html, свободный. Яз. англ. (дата обращения 24.02.2014). 13. Алгоритм формирования штрих-кода EAN-8. [Электронный ресурс]. Режим доступа: http://www.cherry-notes.spb.ru/barcode_ean8.htm, свободный. Яз. рус. (дата обращения 24.02.2014). 14. Burt D.M., Perrett D.I. Perception of age in adult Caucasian male faces: Computer graphic manipulation of shape and colour information // Proceedings of the Royal Society B: Biological Sciences. 1995. V. 259. N 1355. P. 137–143. 15. Dosselmann R., Yang X.D. A comprehensive assessment of the structural similarity index // Signal, Image and Video Processing. 2011. V. 5. N 1. P. 81–91.
Кухарев Георгий Александрович Матвеев Юрий Николаевич
– доктор технических наук, профессор, Западно-Поморский
технологический университет в Щецине, Щецин, Польша,
gkukharev@wi.zut.edu.pl
– доктор технических наук, профессор, Университет ИТМО, Санкт-
Петербург, Россия, matveev@mail.ifmo.ru; главный научный сотрудник,
ООО
«ЦРТ-инновации»,
Санкт-Петербург,
Россия,
matveev@speechpro.com
94
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
Щеголева Надежда Львовна
Georgy A. Kukharev Yuri N. Matveev Nadezhda L. Shchegoleva
– кандидат технических наук, доцент, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
– Professor, D.Sc., Professor, Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl
– Professor, D.Sc., ITMO University, Saint Petersburg, Russia, matveev@mail.ifmo.ru; Chief scientific researcher, «STC-Innovation», LLC, Saint Petersburg, Russi, matveev@speechpro.com
– Associate professor, PhD, Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
Принято к печати 12.03.14 Accepted 12.03.14
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
95
5 КОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ COMPUTER SCIENCE
УДК 621.391.037.372
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ НА ОСНОВЕ ГРАДИЕНТОВ ЯРКОСТИ1
Г.А. Кухаревa, Ю.Н. Матвеевb, c, Н.Л. Щеголеваd
a Западно-Поморский технологический университет в Щецине, Щецин, Польша, gkukharev@wi.zut.edu.pl b Университет ИТМО, Санкт-Петербург, Россия, matveev@mail.ifmo.ru c ООО «ЦРТ-инновации», Санкт-Петербург, Россия, matveev@speechpro.ru d Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
Приведен анализ существующих подходов к формированию штрих-кодов, дано описание типовой структуры системы формирования штрих-кодов по изображениям лиц. Предложен метод формирования линейного штрих-кода по изображениям лиц, основанный на разностных градиентах яркости, представляющих изображения лиц в форме исходных признаков. Далее эти признаки усредняются на ограниченном числе интервалов, квантуются в диапазоне десятичных цифр от 0 до 9 и преобразуются в стандартный штрих-код. Тестирование выполнено на базе Faces94 и базе композитных лиц различных возрастов. В рамках тестов показано, что сформированный штрих-код не изменяется при изменении локальных размеров лиц, их повороте в плоскости XY, изменении ракурса и зеркальном повороте вокруг вертикальной оси, а также при изменениях речевой мимики и возрастных изменениях лиц. Предложенный метод предлагает новое решение для практики использования в реальных условиях – при наличии динамики изменения параметров изображений лиц. При этом подход не требуют больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования линейных штрих-кодов в рамках мобильных систем и систем реального времени. Ключевые слова: изображения лиц, градиенты яркости, штрих-код, системы реального времени.
СREATING OF BARCODES FOR FACIAL IMAGES BASED ON INTENSITY GRADIENTS1
G.A. Kukhareva, Yu.N. Matveevb, c, N.L. Shchegolevad
a Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl b ITMO University, Saint Petersburg, Russia, matveev@ mail.ifmo.ru c «STC-Innovation» LLC, Saint Petersburg, Russia, matveev@speechpro.com d Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
The paper provides analysis of existing approaches to the generating of barcodes and description of the system structure for generating of barcodes from facial images. The method for generating of standard type linear barcodes from facial images is proposed. This method is based on the difference of intensity gradients, which represent images in the form of initial features. Further averaging of these features into a limited number of intervals is performed; the quantization of results into decimal digits from 0 to 9 and table conversion into the standard barcode is done. Testing was conducted on the Face94 database and database of composite faces of different ages. It showed that the proposed method ensures the stability of generated barcodes according to changes of scale, pose and mirroring of facial images, as well as changes of facial expressions and shadows on faces from local lighting. The proposed solutions are computationally low-cost and do not require the use of any specialized image processing software for generating of facial barcodes in real-time systems. Keywords: facial images, brightness gradients, barcode, real-time systems.
Введение
Кодирование с помощью штрих-кодов разнообразных товаров, платежных счетов и финансовых документов, рекламных объявлений и услуг широко и бесповоротно вошло в нашу повседневную жизнь. Чтение таких штрих-кодов осуществляется просто и мгновенно с помощью специальных считывающих устройств, а понимание их содержательной части вообще не составляет труда, поскольку здесь решается задача в рамках поиска по упорядоченному списку.
Идеи использования штрих-кодов входят и в совершенно новые области, в том числе, например, и в области биометрии и боди-арта [1, 2]. Так, в [1] впервые в современной истории было показано применение штрихового кода для идентификации людей в момент реализации ими электронных платежей, а в [2] штрих-код, нанесенный на тело человека, рекламируется как модная татуировка. Через 10 лет после опубликования работы [1] авторы работ [3, 4] отметили, что вся информация о человеческом лице содержится в горизонтальных линиях, таких как линия бровей, линия глаз и линия губ. Эту информацию мож-
1 Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации
(субсидия 074-U01). 1 This work was financially supported by the Government of the Russian Federation (Grant 074-U01)
88
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
но представить в виде набора черных и белых линий, т.е. в виде некоторого бинарного кода, который авторы назвали «биологическим штрих-кодом». А в работе [5] отмечается, что биологический штрих-код, трансформированный в стандартный штрих-код, можно использовать для идентификации людей. Методы построения и применения биологического штрих-кода в задаче сравнения изображений лиц были представлены в монографии [6], хотя их широкое применение остается под вопросом, что также отмечено в [6]. Этот вывод основывается на том, что представление изображений лиц в форме бинарных кодов может быть полезным только в случае задачи классификации обобщенного класса «изображения лиц людей» среди других классов изображений, не включающих лица.
Наиболее полно история задач построения штрих-кодов по изображениям лиц и возможные подходы к ее решению представлены в работах [7–9]. В работе [7] представлен метод формирования штрихкода непосредственно по заданному изображению лица. Этот метод основан на вычислении гистограммы яркости исходного полутонового изображения, усреднении гистограммы на ограниченном числе интервалов яркости, последующем квантовании в диапазоне десятичных цифр от 0 до 9 и табличном преобразовании полученного результата в стандартный линейный штрих-код EAN-8.
Отметим, что предложенный в [7] метод может иметь некоторые ограничения в практике его применения в биометрии, поскольку в качестве основных признаков исходных изображений лиц используются гистограммы их яркости. С другой стороны, например, гистограммы яркости, используемые как признаки, обеспечивают высокую результативность поиска изображений с лицами в больших базах данных [10] и часто являются единственным инструментом в системах поиска изображений по содержанию (Content-based image retrieval – CBIR).
Тем не менее, в настоящей работе, развивающей идеи [7], предлагается новый подход для представления изображения лица в форме линейных штрих-кодов по типу EAN-8, EAN-13 (или UPS) в условиях заметной динамики изменения параметров изображений лиц. При этом подход не требует больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования линейных штрих-кодов в реальном времени и реализации их в рамках мобильных систем.
Далее в работе рассматривается структура и функции системы формирования штрих-кода для изображений лиц, метод формирования штрих-кода на основе разностных градиентов изображений лиц, результаты его тестирования в рамках выполненных компьютерных экспериментов. Моделирование выполнено в среде пакета MATLAB: соответствующие скриншоты содержат исходные изображения, промежуточные результаты и сформированные штрих-коды.
Система формирования штрих-кода
Структура системы формирования штрих-кода представлена на рис. 1 и включает четыре основных блока: 1 – блок предобработки исходных изображений; 2 – экстрактор признаков; 3 – кодер признаков; 4 – генератор штрих-кода; а также вход и выход системы.
Исходное изображение
1 БЛОК предобработки изображений
2
ЭКСТРАКТОР признаков
Штрих-код EAN-8
3
КОДЕР признаков
4 ГЕНЕРАТОР
штрих-кода
Рис. 1. Структура системы формирования штрих-кода
На вход системы поступает исходное изображение, а на выходе получаем сформированный по этому изображению штрих-код стандартного типа. В блоке 1 решаются две основные задачи. Первая – анализ исходного изображения с оценкой его параметров – размера, шкалы цветности, а также угла отклонения линии глаз от горизонтали. Вторая – поворот изображения на плоскости, если это необходимо исходя из результатов анализа, корректировка размеров изображения и выравнивание его яркости. Примеры решения этих задач можно найти, например, в монографии [6].
Часто в биометрических системах распознавания людей по лицам человек, стоящий перед камерой, старается выполнить условия, обеспечивающие стабильность съемки – захват портрета анфас при нейтральном выражении лица. Эти условия являются необходимыми для формирования стабильного штрих-кода. Однако в реальных сценариях достаточно сложно выдержать эти условия, поэтому необходимо допустить некоторые изменения изображений лиц, поступающих на вход системы. Так, в системах, основанных на идеях бимодальности [11], входными данными являются не только лица, но и голос человека. В этом случае мимика человека изменяется в процессе взаимодействия с системой – при произно-
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
89
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
шении некоторого контрольного слова или ответа на заданный вопрос. Примеры возможных изменений лиц для этих случаев показаны на рис. 2 (изображения взяты из базы изображений лиц Faces94 [12]).
1/4
1/4 3/4 1/4
1/4
1/4
аб
Рис. 2. Изменение мимики говорящего человека (а) и выбор области интересов (б)
Обеспечение стабильности кодирования изображений лиц в условиях, показанных на рис. 2, зависит от выбора признаков, представляющих лица. Эта задача решается в блоке 2 (экстракторе признаков) (рис. 1). В предлагаемом ниже методе экстракция признаков осуществляется только из верхней области лица, в которую не включается область ниже середины промежутка нос/рот (область ¾ на рис. 2, б). Верхняя (выбранная) часть лица не связана с мимикой произношений, что может обеспечить стабильность представляющих ее признаков.
При этом блок 3 (рис. 1) системы решает задачу кодирования признаков с представлением их требуемым числом десятичных цифр. Это достигается усреднением признаков на ограниченном числе интервалов и их квантованием в диапазоне десятичных цифр от 0 до 9. Именно на этом этапе элиминируется неучтенное ранее влияние динамики изменений параметров исходных изображений (и значений признаков) на результат кодирования.
Задача блока 4 в этом случае становится тривиальной – перекодирование результата, полученного в блоке 3, по таблицам в соответствии с алгоритмом [13] формирования стандартного штрих-кода. При этом алгоритм [13] включает вычисление контрольной суммы для кода, полученного в блоке 3, и преобразование этого кода в бинарную матрицу, представляющую исходное изображение в графической форме штрих-кода стандартного вида.
Предлагаемые в работе подходы позволяют формировать линейные штриховые коды по изображениям лиц в формате EAN-8 и могут быть применены для формирования других линейных штрих-кодов, например EAN-13 и UPS [13].
Метод формирования штрих-кода
Пусть исходное изображение, представленное в шкале GRAY, имеет размер M×N, и задачей явля-
ется представление этого изображения в форме стандартного штрих-кода EAN-8.
Первоначальная экстракция признаков из исходного изображения основана на процедуре вычисле-
ния разностных градиентов яркости двух зеркально расположенных окон высотой H ≥ 1 пикселей и дли-
ной, равной ширине исходного изображения. Идею метода формирования разностных градиентов и их
кодирования в скользящем окне поясняет рис. 3.
Окна синхронно скользят по изображению лица с шагом S ≥ 1. На каждом шаге скольжения вычис-
ляются расстояния (например, в эвклидовой метрике) между соответствующими областями изображений,
«накрываемых окнами». Скольжение окон производится в области интереса, определяемой ¾ области
лица, что показано на рис. 3, а. При этом скольжение окон начинается практически на границе «воло-
сы/лоб», а заканчивается на нижней границе области носа или под ним. Разностные градиенты в окнах,
преобразованные в расстояния, подчеркивают перепады значений яркости на границе волосы/лоб, грани-
цах линии бровей, линии глаз и линии нос/губы – т.е. именно по линиям «биологического кода лица».
Вычисленные значения расстояний представляют, таким образом, интегральную характеристику наиме-
нее изменяемой части лица в условиях заметной динамики параметров изображений с лицами.
В исходном положении два окна U и D, состоящие из H строк каждое, расположены зеркально от-
носительно оси X. Всего выполняется T = LA шагов скольжения, причем L – длина кода, а A – интервал
усреднения, определяемый числом признаков, по которым производится их усреднение.
При формировании штрих-кода в формате EAN-8 L = 7, а параметр A ≥ 2 в общем случае выбира-
ется из условия непересечения нижней границы (M – H) области интересов:
T = LA ≤ (M – H).
(1)
При этом значение T должно примерно приходиться на нижнюю границу носа или между носом и
губами, что примерно соответствует ¾ высоты области лица. Это позволит исключить из рассмотрения
нижнюю часть лица и, таким образом, элиминировать влияние эмоций и лицевой мимики на стабиль-
ность формирования штрих-кода. С другой стороны, если расчетное значение T > (M – H), то необходимо
90
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
увеличивать размер исходного изображения до выполнения условия (1). Такое увеличение выполняется в блоке 1 системы на этапе коррекции размера изображения, о чем говорилось выше.
H d(t) H 10
8 75 488 4 10 5
T8 6
0 в
Штрих-код EAN-8
U4 Dt
2 1 20 40 56
а бг
Рис. 3. К пояснению идеи метода градиентов: изображение с начальным и конечным положением верхнего (U) и нижнего (D) прямоугольных окон (а); плавная кривая расстояний d(t) между окнами и ее квантованное
представление (ломаная кривая) (б); представление квантованных расстояний в форме бар-кода из 7 цифр (в) и сформированный штрих-код (г)
Теперь определим расстояние d(t) между окнами U и D:
d(t) = || U(t) – D(t)||, t=1, 2,.., T,
(2)
где U(t) и D(t) – окна для шага скольжения t.
Полученный по (2) результат представлен на рис. 3, б, в форме плавной кривой. Далее этот резуль-
тат передается на вход блока 3, где осуществляется его нормирование:
d (t) d (t) / max(d ), t = 1,..., T.
(3)
Полученные по (3) значения усредняются на временном интервале A и затем квантуются в диапа-
зоне десятичных цифр от 0 до 9 с помощью масштабного множителя scale:
d l
f
[ scale A
A
d ( A(l
j 1
1)
j )],
l=1, 2,..., L,
(4)
где f [·] – округление до целого с отбрасыванием дробной части; scale – масштабный множитель и
9 < scale < 10, не целое. Тем самым в (4) также достигается представление вектора расстояний в форме десятичного кода
заданной длины. Результат (4) показан на рис. 3, в. Полученный по (4) результат с выхода блока 3 преда-
ется на вход блока 4, где формируется окончательный штрих-код, состоящий из 8 цифр. Здесь используется стандартный алгоритм, описанный в [13]. Штрих-код для этого случая показан на рис. 3, г.
Эксперименты
Цель поставленных экспериментов – проверка стабильности формирования штрих-кодов для изображений лиц в условиях заметной динамики их характеристик. Эксперименты выполнены на базе фотопортретов Faces94 [12] и базе композитных лиц, представляющих изменения возраста человека [14].
Тест 1. Тест выполнен на базе изображений лиц Faces94. Использовались 100 классов по 11 изображений в каждом классе этой базы, для которых определялся штрих-код EAN-8. Исходные изображения были переведены в формат GRAY и приведены к размеру 112×92 пикселя. При этом изображения не подвергались какой-либо предобработке с целью выравнивания размера, позиций линии глаз и антропометрических характеристик лиц. Пример результата для выполненного теста приведен на рис. 4.
Из каждого класса выбирался портрет под номером 1, и для него определялся штрих-код для следующих значений параметров управления процессом кодирования:
{H = 23; S = 1; L = 7; A = 8; T = 56; scale = 9,5}. Затем для следующих 10 портретов каждого класса (с номера 2 до номера 11) также определялись штрих-коды по тем же параметрам управления процессом кодирования. В результате тестирования по всем 100 классам было получено 775 связанных пар изображений, имеющих одинаковые штрих-коды. Эти связанные пары изображений принадлежали только своим классам, что составило более 70% для 1000 тестовых изображений или в среднем по 7 пар на класс. При этом все тестовые изображения лиц имели существенную динамику изменения характеристик, о которой говорилось выше и которую можно увидеть на рис. 2.
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
91
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
Корреляция как дополнительный инструмент проверки специально введена в этот тест. В этом случае, например, корреляция свидетельствует почти о 100%-ном их подобии между векторами расстояний d(t) для исходных изображений лиц, в связи с чем можно было ожидать и полного совпадения штрихкодов для них. Именно этот штрих-код и показан на рис. 4, д. Оценивая этот результат, можно отметить, что, несмотря на заметную динамику изменений параметров изображений лиц базы Faces94 (например, на рис. 4 – разную мимику лиц), были получены одинаковые штрих-коды.
99 86 45 76 10
Класс/номер 100/1
Класс/номер 100/11
Correlation=0,96 1
5 0
1 234 5 678 г
t Штрих-код EAN-8
0 20 40 56
аб
в
д
Рис. 4. Финишный результат для первого теста: первое (а) и последнее изображение (б), участвовавшие в
тесте; фазовая корреляция между соответствующими признаками (в); квантованные значения расстояний
в форме бар-кода для этих изображений (г); полученный штрих-код (д)
Штрих-код EAN-8
Штрих-код EAN-8
Рис. 5. Пример результатов для изображений с различной мимикой
На рис. 5 показан результат формирования штрих-кода для изображений, отличающихся мимикой и изменениями в области глаз. Здесь приведены две пары изображений лиц и соответствующий каждой паре штрих-код в стандарте EAN-8. При этом можно заметить следующее: изменения мимики лиц, изменение размера области лиц, а также и изменения в области глаз (глаза открыты или закрыты) не влияют на сформированный штрих-код. Эти результаты также получены в рамках теста 1.
Тест 2. Цель теста 2 – проверка стабильности формирования штрих-кода при изменении яркости контрольных изображений. Тест 2 реализован по тем же значениям параметров управления процессом кодирования, что тест 1. Однако, в отличие от теста 1, яркость контрольных изображений изменялась в пределах ±40% относительно исходной яркости изображений базы Faces94. Полученные результаты сведены в таблицу. При этом можно отметить следующее: при изменении яркости на ±20% относительно исходной результат остается достаточно стабильным; при изменении яркости на ±40% относительно исходной число пар одинаковых штрих кодов уменьшилось почти вдвое.
Тест 1 2 3 4 база 5 6 7 8
Изображения
Яркость % 140 130 120 110
100
90
80
70
60
Число пар 487 584 639 744 775 746 699 560 385
Таблица. Изменение числа найденных пар изображений при изменении их яркости
Тест 3. Целью теста была проверка стабильности формирования штрих-кода при зеркальном по-
вороте тестового изображения и сохранения этой стабильности при дополнительной динамике изменений
параметров изображений – шумов при съемке, локальных размеров лиц, поворота лица в плоскости XY,
92
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
поворота по ракурсу, а также при изменениях мимики лица. В рамках этого теста изображения лиц каждого класса (от номера 2 до номера 11) зеркально поворачивались относительно вертикальной оси, и для них определялись штрих-коды по тем же значениям параметров управления процессом кодирования, что и в тесте 1. При этом число найденных пар для 100 классов изображений составило 607 – в среднем по 6 пар на каждый класс. Некоторые пары изображений лиц с одинаковыми кодами показаны на рис. 6. При этом отчетливо видно, что между изображениями внутри своих пар заметны существенные отличия по размерам области лиц, мимике, ракурсу, тенях на области глаз.
Тест 4. Цель последнего теста – проверка стабильности формирования штрих-кода при «старении» лица. В эксперименте были использованы 38 композитных изображений лиц [14], соответствующих изменению возраста 20–24 года и 60–64 года. Таким образом, возрастные изменения лиц прослеживались на интервале примерно 40 лет. Отметим, что на этом интервале фазовая корреляция между изображениями снижается до значения «0,2», а коэффициент структурного подобия снижается до значения 0,65, хотя их начальные значения равны 1. Это говорит о существенном изменении формы, размера и текстуры соответствующих изображений, моделирующих старение лиц.
Рис. 6. Примеры пар изображений лиц с одинаковыми штриховыми кодами
Значения параметров управления процессом кодирования были выбраны на этапе решения вариа-
ционной задачи и приняты следующими:
{H = 22; L = 7; A = 7; T = 49; scale = 9,7–9,9},
(5)
при этом параметр scale можно было выбирать любым из приведенного диапазона.
Изображение 1
Изображение 38
1
0,8
89 86 56 75 10 Индекс SSIM 5
0,6 0 1 2 3 4г 5 6 7 8 0,4 Корреляция Штрих-код EAN-8
20–24 года
60–64 года
0,2 0
20 38
аб
вд
Рис. 7. Формирование штрих-кода при моделировании старения лиц: лица, соответствующие возрасту
20–24 (а) и 60–64 года (б); изменения значений корреляции и индекса структурного подобия SSIM [15]
при изменении возраста лиц (в); квантованное представление градиентов яркости в форме бар-кода (г);
соответствующий ему штрих-код (д)
Результаты выполненного эксперимента представлены на рис. 7, где показаны первое и последнее изображения базы [12], промежуточные оценки их подобия (рис. 7, в), бар-код квантованных и усредненных расстояний (рис. 7, г) и соответствующий им штрих-код (рис. 7, д). В бар-коде (рис. 7, г) светлый столбик определяет контрольное значение для первых 7 квантованных и усредненных значений расстояний.
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
93
ФОРМИРОВАНИЕ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ...
Экспериментом показано, что в рамках метода разностных градиентов и параметров (5), штрих-код остается постоянным при моделировании старения лиц, хотя изменения формы, размера и текстуры соответствующих изображений были отмечены как формальными методами, так и заметны «на глаз».
Заключение
В работе рассматривается задача формирования линейного штрих-код стандартного типа для изображений лиц. Для ее решения предложен метод, основанный на разностных градиентах яркости, представляющих изображения лиц в форме исходных признаков. Неучтенное в исходных признаках влияние динамики изменений параметров исходных изображений элиминируется их усреднением на ограниченном числе интервалов и квантованием в диапазоне десятичных цифр от 0 до 9. Полученный результат преобразуются затем в стандартный штрих-код. При этом штрих-коды формируются непосредственно по исходному изображению лица и, таким образом, содержат информацию о лице конкретного человека.
Проверка выполнена на этапе компьютерного моделирования на базе Faces94 и базе композитных лиц, моделирующих старение лица. Показано, что результат остается стабильным при изменении локальных размеров лиц, повороте лица по ракурсу и зеркальном повороте исходного изображения вокруг вертикальной оси, а также при изменениях мимики лица и его старении. Сформированный таким образом штрих-код может быть использован для индексирования, идентификации, распознавания и поиска людей, а предложенные методы определяют направления дальнейших исследований и применений штрих-кодов в практике.
Литература
1. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US N 5878155; заявл. 05.09.96; опубл. 02.03.99.
2. Barcode Tattoos of Scott Blake [Электронный ресурс]. Режим доступа: http://www.barcodeart.com/store/wearable/tattoos/, свободный. Яз. англ. (дата обращения 24.02.2014).
3. Dakin S.C., Watt R.J. Biological «bar codes» in human faces // Journal of Vision. 2009. V. 9. N 4. P. 1–10. 4. Goffaux V., Dakin S.C. Horizontal information drives the behavioral signatures of face processing // Fron-
tiers in Psychology. 2010. V. 1. Article N 143. 5. Facial Barcodes Help Us Identify People [Электронный ресурс]. Режим доступа:
http://www.barcodesinc.com/news/?p=92, свободный. Яз. англ. (дата обращения 24.02.2014). 6. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания
изображений лиц в задачах биометрии / Под ред. М.В. Хитрова. СПб: Политехника, 2013. 388 с. 7. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Экспресс-метод генерации штрих-кода по изображени-
ям лиц // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 2 (90). С. 99–106. 8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes // Proc. of the Federated Conference on Computer Science and Information Systems, FedCSIS 2012. Wroclaw, Poland, 2012. Art. N 6354334. P. 755–762. 9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes // International Journal of Computer Science and Application. 2013. V. 10. N 1. P. 78–97. 10. Forczmanski P., Kukharev G. Comparative analysis of simple facial features extractors // Journal of RealTime Image Processing. 2007. № 1. P. 239–255. 11. Матвеев Ю.Н. Технологии биометрической идентификации личности по голосу и другим модальностям // Инженерный журнал: наука и инновации. 2012. № 3 (3). С. 5. 12. Collection of Facial Images: Faces94. [Электронный ресурс]. Режим доступа: http://cswww.essex.ac.uk/mv/allfaces/faces94.html, свободный. Яз. англ. (дата обращения 24.02.2014). 13. Алгоритм формирования штрих-кода EAN-8. [Электронный ресурс]. Режим доступа: http://www.cherry-notes.spb.ru/barcode_ean8.htm, свободный. Яз. рус. (дата обращения 24.02.2014). 14. Burt D.M., Perrett D.I. Perception of age in adult Caucasian male faces: Computer graphic manipulation of shape and colour information // Proceedings of the Royal Society B: Biological Sciences. 1995. V. 259. N 1355. P. 137–143. 15. Dosselmann R., Yang X.D. A comprehensive assessment of the structural similarity index // Signal, Image and Video Processing. 2011. V. 5. N 1. P. 81–91.
Кухарев Георгий Александрович Матвеев Юрий Николаевич
– доктор технических наук, профессор, Западно-Поморский
технологический университет в Щецине, Щецин, Польша,
gkukharev@wi.zut.edu.pl
– доктор технических наук, профессор, Университет ИТМО, Санкт-
Петербург, Россия, matveev@mail.ifmo.ru; главный научный сотрудник,
ООО
«ЦРТ-инновации»,
Санкт-Петербург,
Россия,
matveev@speechpro.com
94
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №3 (91)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
Щеголева Надежда Львовна
Georgy A. Kukharev Yuri N. Matveev Nadezhda L. Shchegoleva
– кандидат технических наук, доцент, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
– Professor, D.Sc., Professor, Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl
– Professor, D.Sc., ITMO University, Saint Petersburg, Russia, matveev@mail.ifmo.ru; Chief scientific researcher, «STC-Innovation», LLC, Saint Petersburg, Russi, matveev@speechpro.com
– Associate professor, PhD, Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
Принято к печати 12.03.14 Accepted 12.03.14
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №3 (91)
95