ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
УДК 621.391.037.372
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ1
Г.А. Кухаревa, Ю.Н. Матвеевb, c, Н.Л. Щеголеваd
a Западно-Поморский технологический университет в Щецине, Щецин, Польша, gkukharev@wi.zut.edu.pl b Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, matveev@speechpro.com c ООО «ЦРТ-инновации» НИУ ИТМО, Санкт-Петербург, Россия d Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
Предложен метод формирования линейного штрих-кода стандартного типа по изображениям лиц. Метод основан на использовании гистограммы яркости исходного изображения, ее усреднении на ограниченном числе интервалов яркости, последующем квантовании в диапазоне десятичных цифр от 0 до 9 и табличном преобразовании в окончательный штрих-код. Предложенное решение не требует больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования штрихкодов в рамках мобильных систем, а предложенный метод можно отнести к классу экспресс-методов. Тестирование выполнено на базах «Faces94» и «CUHK Face Sketch FERET Database». Как следует из результатов тестирования, предложенный метод предлагает новое решение для практики использования в реальных условиях – динамики изменения параметров изображений лиц. Показано, что результат остается стабильным при изменении локальных размеров лиц, наклона в плоскости XY, изменения ракурса и зеркального поворота вокруг вертикальной оси, а также при изменениях мимики лица и наличии на нем теней от локального освещения. Предложенный способ формирования стандартного штрих-кода строится непосредственно по исходному изображению лица и, таким образом, уникально представляет конкретную личность. Ключевые слова: изображения лиц, штрих-код, экспресс-метод, мобильные системы.
EXPRESS METHOD OF BARCODE GENERATION FROM FACIAL IMAGES1
G.A. Kukhareva, Yu.N. Matveevb, c, N.L. Shchegolevad
a Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl b Saint Petersburg National Research University of Information Technologies, Mechanics and Optics (University ITMO), Saint Petersburg, Russia, matveev@speechpro.com c «STC –Innovation», Saint Petersburg, Russia d Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
In the paper a method of generating of standard type linear barcodes from facial images is proposed. The method is based on use of the histogram of facial image brightness, averaging the histogram on a limited number of intervals, quantization of results in a range of decimal numbers from 0 to 9 and table conversion into the final barcode. The proposed solution is computationally low-cost and not requires the use of specialized software on image processing that allows generating of facial barcodes in mobile systems, and thus the proposed method can be interpreted as an express method. Results of tests on the Face94 and CUHK Face Sketch FERET Databases showed that the proposed method is a new solution for use in the real-world practice and ensures the stability of generated barcodes in changes of scale, pose and mirroring of a facial image, and also changes of a facial expression and shadows on faces from local lighting. The proposed method is based on generating of a standard barcode directly from the facial image, and thus contains the subjective information about a person's face. Keywords: facial images, barcode, express method, mobile systems.
Введение
Технологии кодирования с помощью штрих-кодов разнообразных товаров, платежных счетов и финансовых документов, рекламных объявлений и услуг широко и бесповоротно вошли в нашу повседневную жизнь. Чтение таких штрих-кодов осуществляется просто и мгновенно с помощью специальных считывающих устройств и смартфонов, а понимание их содержательной части вообще не составляет труда. Пожалуй, первое в современной истории применение стандартного штрих-кода для идентификации людей было предложено в патенте [1] в 1999 г. При этом предполагалось, что идентификация человека осуществляется в момент реализации им электронных платежей, т.е. в режиме реального времени, а уникальный штрих-код нанесен на руку человека и считывается специальным устройством. Однако дальнейшего развития системы идентификации людей по штрих-кодам не получили. Тем не менее, штрихкод, нанесенный на тело человека, сегодня уже рекламируется как модная татуировка [2], и примеры некоторых татуировок, выполненных в форме штрих-кодов, показаны на рис. 1.
При этом в штриховых кодах [2], размещенных на теле человека, отсутствует информация о какихлибо биометрических характеристиках самого человека. Можно с уверенностью сказать, что, когда
1 Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01). This work was financially supported by the Government of the Russian Federation (Grant 074-U01).
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №2 (90)
99
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ
штрих-код на теле человека будет представлять этого человека по какой-либо биометрике, он будет не только широко использован как «модная фишка», но и утилитарно применен в практике идентификации людей. Однако практически невозможно представить себе процесс идентификации человека по штрихкоду, спрятанному под одеждой человека или на части тела, трудно доступной и неудобной для считывания этого кода, что можно видеть на рис. 1.
Рис. 1. Примеры татуировок, выполненных в форме штрих-кодов [2]
Идеальным решением могло бы быть формирование штрих-кода только тогда, когда это нужно, и в реальном времени, например, непосредственно по лицу или голосу человека. В этом случае идентификацию людей можно производить «на расстоянии», незаметно для самого человека, не требуя от него какихлибо действий и не храня уникальный штрих-код на теле человека.
Если предположить, что такая задача решена в принципе, то полученное решение могло бы быть использовано для кодирования изображений лиц или голоса в форме штрих-кодов. Эти коды могли бы применяться в мобильных биометрических системах контроля доступа («Acess Control» – АС), портативных системах человек–компьютер для идентификации пользователя, для распознавания людей в системах видеонаблюдений по лицам и в других системах – по голосу.
Из двух подходов, основанных на голосе и изображениях лиц, остановимся на последнем, исходя из новых решений, представленных в работах [3, 4]. Несмотря на перспективы и потенциал решений [3, 4], отметим проблемы, стоящие на пути преобразования изображений лиц в штрих-коды.
Одной из нерешенных сегодня проблем в практике представления и распознавания изображений лиц остается динамика изменения параметров изображений лиц (локальной яркости изображений, размеров и наклона области лиц на изображениях, а также мимики лиц) в реальных условиях. В основе этой проблемы лежит невозможность представления изображений лиц в форме инвариантных признаков, не зависящих от динамики параметров исходных изображений в самом общем случае. В свою очередь, неинвариантность признаков приводит к нестабильности формируемых штрих-кодов, какую бы форму эти коды ни принимали. Использование таких нестабильных кодов становится невозможным, например, в системах класса АС. И хотя в таких системах изменения параметров исходных изображений с лицами не так значительны, поскольку здесь применяется стабилизация параметров изображений (освещение лиц перед камерами, контроль поворота, мимики и т.д.), но даже и в этих случаях получение стабильных штрих-кодов остается под вопросом. Решение этой проблемы позволило бы упростить идентификацию лиц, повысить быстродействие соответствующих систем распознавания и их надежность, поскольку устройства считывания штрих-кодов и их декодирование давно и эффективно применяются в различных практических приложениях. Именно поэтому интерес к проблеме стабильного представления изображений лиц штрих-кодами не ослабевает, по сути, с момента появления первых компьютерных систем распознавания людей по лицам.
Целью предлагаемой работы является разработка подходов для представления лица человека в форме линейных штрих-кодов по типу EAN-8, EAN-13 (или UPS) [5].
Краткий обзор существующих подходов
Через 10 лет после опубликования патента [1] авторы работы [6] отметили, что вся информация о человеческом лице содержится в горизонтальных линиях, таких как линия бровей, линия глаз и линия губ. Более того, они показали, что эту информацию можно с успехом представить в виде набора черных и белых линий (т.е. в виде некоторого штрихового кода, который назвали биологическим штрих-кодом), и обратили внимание на некоторые инвариантные характеристики биологического штрих-кода лица человека. Пример представления области лица в форме штрих-кода по [6] показан на рис. 2. Однако, как следует из работы [6] и дальнейших публикаций этих авторов, они не определили алгоритма построения подобных штрих-кодов, но отметили, что представление области лица только толстыми прямыми чернобелыми полосами никогда не будет точной моделью лица конкретного человека. Эта модель, оставаясь точным биологическим штрих-кодом лица, является очень грубым приближением к конкретному лицу человека, что, например, видно на рис. 2 при сравнении его частей «а» и «в».
100
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
абв
г
Рис. 2. Представления области лица в форме штрих-кода: исходное изображение лица (а);
вариант выделения особенностей лица (б); «биологический штрих-код лица человека» (в);
стандартный штрих-код как желаемый результат (г)
Неточность отмеченного приближения связана с морфологией лица человека: границы волосы/лоб, границы линий и особенностей бровей, границы линий глаз и границы линии носа и губ трудно определить, а еще труднее описать простыми толстыми прямыми линиями. Здесь требуется более тонкая и множественная структура линий. Возможно, что лицо человека и соответствующий ему штрих-код могли бы выглядеть так, как показано на рис. 2, г, что отмечается в работе [7].
Еще через 5 лет появилось наиболее серьезное практическое исследование по проблеме представления лиц в форме штрих-кодов [8]. Авторы этой работы предложили алгоритм формирования штрихкода, основанный на поиске особых (ключевых) точек на области лица, описании их окрестностей с помощью дескрипторов и формировании двумерного цветного штрих-кода НСС2D. Как показано в [8], код НСС2D сочетает в себе достоинства двумерного кода HCCB (High Capacity Color Barcode) и двумерного кода QR (Quick Response), но отличается от них более высокой плотностью упаковки информации. Однако в рамках мобильных систем, построенных на базе планшетов и смартфонов, предложенный в [8] алгоритм вряд ли будет реализован и использован в ближайшее время. Это связано с тремя важными недостатками, присущими алгоритму построения кода НСС2D. 1. Предложенный в [8] алгоритм характеризуется слишком сложным процессом поиска особых (ключе-
вых) точек на изображении лица и алгоритмом описания их окрестностей, основанным на использовании процедур SIFT (Scale Invariant Feature Transform) и SURF (Speeded Up Robust Features) [8]. 2. Результат поиска особых (ключевых) точек по алгоритму SURF не инвариантен к масштабу, что требует декомпозиции исходного изображения в пирамиду разномасштабных областей и многократного применения метода SURF для каждой области пирамиды. Это еще больше усложняет алгоритм поиска ключевых точек. 3. Формируемый двумерный код НСС2D чувствителен к геометрическим искажениям. Он должен считываться строго параллельно по заданным осям, поскольку на точность его распознавания влияет угол, под которым код виден считывающим устройством.
Кроме того, представление изображения лица в форме двумерного кода является отступлением от концепции линейного штрих-кода [6]. Именно поэтому в настоящей работе предлагается один из наиболее простых подходов для представления лица человека в форме стандартных линейных штрих-кодов.
Этапы формирования штрих-кода
Алгоритм формирования штрих-кода включает четыре основных этапа: 1. предобработка исходного изображения; 2. экстракция признаков из изображения; 3. кодирование признаков; 4. генерация штрих-кода.
Из всех возможных систем, которые могут использовать штрих-коды для представления лиц, остановимся только на системах класса АС. Этот выбор обоснован тем, что в системах АС человек, стоящий перед камерой, старается выполнить условия, обеспечивающие стабильность съемки – захват портрета анфас при нейтральном выражении лица. Эти условия являются необходимыми для формирования стабильного штрих-кода. Однако в реальных сценариях достаточно сложно выдержать эти условия, поэтому необходимо допустить некоторые изменения изображений лиц, поступающих на вход системы АС. Примеры допустимых изменений изображений лиц показаны на рис. 3, где все изображения лиц взяты из базы «Faces94» [9].
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №2 (90)
101
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ
Рис. 3. Допустимые изменения изображений лиц
Часто в системах АС, основанных на идеях бимодальных систем, входными данными являются не только лица, но и голос человека [10]. В этом случае мимика человека изменяется при произношении им некоторого контрольного слова, заданной фразы или в момент разговора, что показано на рис. 4. Эти изменения изображений лиц, хоть и не так значительны, но заметны «на глаз». Связаны они с изменением размеров области лица, наклоном в плоскости XY, изменением собственно мимики лица, а также изменением яркости некоторых областей лица (из-за влияния локальных теней или очков). Исходя из отмеченного выше, на этапе 1 (предобработка исходного изображения) решаются две основные задачи. Первая – анализ исходного изображения с оценкой его параметров: размера, шкалы цветности, а также угла отклонения линии глаз от горизонтали. Вторая – поворот изображения в плоскости XY, если это необходимо, исходя из результатов анализа, корректировка размеров изображения и выравнивание его яркости.
1
0,5
0
50
100 150
200 bins
аб
Рис. 4. Изменение мимики говорящего человека: исходные изображения лиц (а); нормированные гистограммы яркости исходных изображений (для 256 интервалов яркости) (б)
Обеспечение стабильности кодирования изображений лиц в условиях, показанных на рис. 4, зависит от выбора признаков, представляющих лица. Они должны быть такими, чтобы влияние мимики и сопутствующих ей изменений на лице не было заметно. Эта задача решается на этапе 2 (экстракция признаков). И здесь есть, по крайней мере, один очень простой и многообещающий подход на основе использования гистограмм яркости исходных изображений с лицами. Как показано в [11, 12], эти гистограммы обеспечивают высокую результативность поиска изображений с лицами в больших базах данных и часто являются единственным инструментом в системах поиска изображений по содержанию. На рис. 4, б, показаны три совмещенные гистограммы яркости, вычисленные для трех изображений лиц на рис. 4, а, отличающихся мимикой. Для формирования гистограмм использовались 256 яркостных интервалов (bins=256). Видно, что форма этих гистограмм практически совпадает, что и является предпосылкой для их использования (как исходных признаков) для формирования соответствующего штрих-кода.
На этапе 3 решается наиболее важная задача, а именно кодирование признаков с представлением их требуемым числом десятичных цифр.
Задача этапа 4 в этом случае – табличное перекодирование результата, сформированного на этапе 3. Формирование стандартного штрих-кода включает вычисление контрольной суммы для десятичного кода, сформированного на этапе 3, и преобразование этого кода в бинарную матрицу, представляющую исходное изображение в графической форме штрих-кода стандартного вида.
Предлагаемый подход позволяет формировать линейные штриховые коды по изображениям лиц в формате EAN-8 и может быть применен для формирования линейных кодов в формате EAN-13 и UPS, поскольку эти форматы отличаются от формата EAN-8 только наличием цифровой преамбулы, характеризующей территориальную, социальную или ассортиментную принадлежность кода к изделию или товару. При этом способ кодирования в формате EAN-13 и UPS аналогичен кодированию штрих-кода в формате EAN-8, за исключением того, что здесь используется дополнительная таблица кодировки десятичных знаков в соответствующие штрихи.
102
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
Формирование штрих-кода на основе гистограмм
В предлагаемом методе исходные гистограммные признаки усредняются в рамках выбранных интервалов яркости bins
УДК 621.391.037.372
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ1
Г.А. Кухаревa, Ю.Н. Матвеевb, c, Н.Л. Щеголеваd
a Западно-Поморский технологический университет в Щецине, Щецин, Польша, gkukharev@wi.zut.edu.pl b Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Санкт-Петербург, Россия, matveev@speechpro.com c ООО «ЦРТ-инновации» НИУ ИТМО, Санкт-Петербург, Россия d Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, Россия, NLSchegoleva@etu.ru
Предложен метод формирования линейного штрих-кода стандартного типа по изображениям лиц. Метод основан на использовании гистограммы яркости исходного изображения, ее усреднении на ограниченном числе интервалов яркости, последующем квантовании в диапазоне десятичных цифр от 0 до 9 и табличном преобразовании в окончательный штрих-код. Предложенное решение не требует больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования штрихкодов в рамках мобильных систем, а предложенный метод можно отнести к классу экспресс-методов. Тестирование выполнено на базах «Faces94» и «CUHK Face Sketch FERET Database». Как следует из результатов тестирования, предложенный метод предлагает новое решение для практики использования в реальных условиях – динамики изменения параметров изображений лиц. Показано, что результат остается стабильным при изменении локальных размеров лиц, наклона в плоскости XY, изменения ракурса и зеркального поворота вокруг вертикальной оси, а также при изменениях мимики лица и наличии на нем теней от локального освещения. Предложенный способ формирования стандартного штрих-кода строится непосредственно по исходному изображению лица и, таким образом, уникально представляет конкретную личность. Ключевые слова: изображения лиц, штрих-код, экспресс-метод, мобильные системы.
EXPRESS METHOD OF BARCODE GENERATION FROM FACIAL IMAGES1
G.A. Kukhareva, Yu.N. Matveevb, c, N.L. Shchegolevad
a Westpomeranian University of Technology, Szczecin, Poland, gkukharev@wi.zut.edu.pl b Saint Petersburg National Research University of Information Technologies, Mechanics and Optics (University ITMO), Saint Petersburg, Russia, matveev@speechpro.com c «STC –Innovation», Saint Petersburg, Russia d Saint Petersburg Electrotechnical University (LETI), Saint Petersburg, Russia, NLSchegoleva@etu.ru
In the paper a method of generating of standard type linear barcodes from facial images is proposed. The method is based on use of the histogram of facial image brightness, averaging the histogram on a limited number of intervals, quantization of results in a range of decimal numbers from 0 to 9 and table conversion into the final barcode. The proposed solution is computationally low-cost and not requires the use of specialized software on image processing that allows generating of facial barcodes in mobile systems, and thus the proposed method can be interpreted as an express method. Results of tests on the Face94 and CUHK Face Sketch FERET Databases showed that the proposed method is a new solution for use in the real-world practice and ensures the stability of generated barcodes in changes of scale, pose and mirroring of a facial image, and also changes of a facial expression and shadows on faces from local lighting. The proposed method is based on generating of a standard barcode directly from the facial image, and thus contains the subjective information about a person's face. Keywords: facial images, barcode, express method, mobile systems.
Введение
Технологии кодирования с помощью штрих-кодов разнообразных товаров, платежных счетов и финансовых документов, рекламных объявлений и услуг широко и бесповоротно вошли в нашу повседневную жизнь. Чтение таких штрих-кодов осуществляется просто и мгновенно с помощью специальных считывающих устройств и смартфонов, а понимание их содержательной части вообще не составляет труда. Пожалуй, первое в современной истории применение стандартного штрих-кода для идентификации людей было предложено в патенте [1] в 1999 г. При этом предполагалось, что идентификация человека осуществляется в момент реализации им электронных платежей, т.е. в режиме реального времени, а уникальный штрих-код нанесен на руку человека и считывается специальным устройством. Однако дальнейшего развития системы идентификации людей по штрих-кодам не получили. Тем не менее, штрихкод, нанесенный на тело человека, сегодня уже рекламируется как модная татуировка [2], и примеры некоторых татуировок, выполненных в форме штрих-кодов, показаны на рис. 1.
При этом в штриховых кодах [2], размещенных на теле человека, отсутствует информация о какихлибо биометрических характеристиках самого человека. Можно с уверенностью сказать, что, когда
1 Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01). This work was financially supported by the Government of the Russian Federation (Grant 074-U01).
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №2 (90)
99
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ
штрих-код на теле человека будет представлять этого человека по какой-либо биометрике, он будет не только широко использован как «модная фишка», но и утилитарно применен в практике идентификации людей. Однако практически невозможно представить себе процесс идентификации человека по штрихкоду, спрятанному под одеждой человека или на части тела, трудно доступной и неудобной для считывания этого кода, что можно видеть на рис. 1.
Рис. 1. Примеры татуировок, выполненных в форме штрих-кодов [2]
Идеальным решением могло бы быть формирование штрих-кода только тогда, когда это нужно, и в реальном времени, например, непосредственно по лицу или голосу человека. В этом случае идентификацию людей можно производить «на расстоянии», незаметно для самого человека, не требуя от него какихлибо действий и не храня уникальный штрих-код на теле человека.
Если предположить, что такая задача решена в принципе, то полученное решение могло бы быть использовано для кодирования изображений лиц или голоса в форме штрих-кодов. Эти коды могли бы применяться в мобильных биометрических системах контроля доступа («Acess Control» – АС), портативных системах человек–компьютер для идентификации пользователя, для распознавания людей в системах видеонаблюдений по лицам и в других системах – по голосу.
Из двух подходов, основанных на голосе и изображениях лиц, остановимся на последнем, исходя из новых решений, представленных в работах [3, 4]. Несмотря на перспективы и потенциал решений [3, 4], отметим проблемы, стоящие на пути преобразования изображений лиц в штрих-коды.
Одной из нерешенных сегодня проблем в практике представления и распознавания изображений лиц остается динамика изменения параметров изображений лиц (локальной яркости изображений, размеров и наклона области лиц на изображениях, а также мимики лиц) в реальных условиях. В основе этой проблемы лежит невозможность представления изображений лиц в форме инвариантных признаков, не зависящих от динамики параметров исходных изображений в самом общем случае. В свою очередь, неинвариантность признаков приводит к нестабильности формируемых штрих-кодов, какую бы форму эти коды ни принимали. Использование таких нестабильных кодов становится невозможным, например, в системах класса АС. И хотя в таких системах изменения параметров исходных изображений с лицами не так значительны, поскольку здесь применяется стабилизация параметров изображений (освещение лиц перед камерами, контроль поворота, мимики и т.д.), но даже и в этих случаях получение стабильных штрих-кодов остается под вопросом. Решение этой проблемы позволило бы упростить идентификацию лиц, повысить быстродействие соответствующих систем распознавания и их надежность, поскольку устройства считывания штрих-кодов и их декодирование давно и эффективно применяются в различных практических приложениях. Именно поэтому интерес к проблеме стабильного представления изображений лиц штрих-кодами не ослабевает, по сути, с момента появления первых компьютерных систем распознавания людей по лицам.
Целью предлагаемой работы является разработка подходов для представления лица человека в форме линейных штрих-кодов по типу EAN-8, EAN-13 (или UPS) [5].
Краткий обзор существующих подходов
Через 10 лет после опубликования патента [1] авторы работы [6] отметили, что вся информация о человеческом лице содержится в горизонтальных линиях, таких как линия бровей, линия глаз и линия губ. Более того, они показали, что эту информацию можно с успехом представить в виде набора черных и белых линий (т.е. в виде некоторого штрихового кода, который назвали биологическим штрих-кодом), и обратили внимание на некоторые инвариантные характеристики биологического штрих-кода лица человека. Пример представления области лица в форме штрих-кода по [6] показан на рис. 2. Однако, как следует из работы [6] и дальнейших публикаций этих авторов, они не определили алгоритма построения подобных штрих-кодов, но отметили, что представление области лица только толстыми прямыми чернобелыми полосами никогда не будет точной моделью лица конкретного человека. Эта модель, оставаясь точным биологическим штрих-кодом лица, является очень грубым приближением к конкретному лицу человека, что, например, видно на рис. 2 при сравнении его частей «а» и «в».
100
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
абв
г
Рис. 2. Представления области лица в форме штрих-кода: исходное изображение лица (а);
вариант выделения особенностей лица (б); «биологический штрих-код лица человека» (в);
стандартный штрих-код как желаемый результат (г)
Неточность отмеченного приближения связана с морфологией лица человека: границы волосы/лоб, границы линий и особенностей бровей, границы линий глаз и границы линии носа и губ трудно определить, а еще труднее описать простыми толстыми прямыми линиями. Здесь требуется более тонкая и множественная структура линий. Возможно, что лицо человека и соответствующий ему штрих-код могли бы выглядеть так, как показано на рис. 2, г, что отмечается в работе [7].
Еще через 5 лет появилось наиболее серьезное практическое исследование по проблеме представления лиц в форме штрих-кодов [8]. Авторы этой работы предложили алгоритм формирования штрихкода, основанный на поиске особых (ключевых) точек на области лица, описании их окрестностей с помощью дескрипторов и формировании двумерного цветного штрих-кода НСС2D. Как показано в [8], код НСС2D сочетает в себе достоинства двумерного кода HCCB (High Capacity Color Barcode) и двумерного кода QR (Quick Response), но отличается от них более высокой плотностью упаковки информации. Однако в рамках мобильных систем, построенных на базе планшетов и смартфонов, предложенный в [8] алгоритм вряд ли будет реализован и использован в ближайшее время. Это связано с тремя важными недостатками, присущими алгоритму построения кода НСС2D. 1. Предложенный в [8] алгоритм характеризуется слишком сложным процессом поиска особых (ключе-
вых) точек на изображении лица и алгоритмом описания их окрестностей, основанным на использовании процедур SIFT (Scale Invariant Feature Transform) и SURF (Speeded Up Robust Features) [8]. 2. Результат поиска особых (ключевых) точек по алгоритму SURF не инвариантен к масштабу, что требует декомпозиции исходного изображения в пирамиду разномасштабных областей и многократного применения метода SURF для каждой области пирамиды. Это еще больше усложняет алгоритм поиска ключевых точек. 3. Формируемый двумерный код НСС2D чувствителен к геометрическим искажениям. Он должен считываться строго параллельно по заданным осям, поскольку на точность его распознавания влияет угол, под которым код виден считывающим устройством.
Кроме того, представление изображения лица в форме двумерного кода является отступлением от концепции линейного штрих-кода [6]. Именно поэтому в настоящей работе предлагается один из наиболее простых подходов для представления лица человека в форме стандартных линейных штрих-кодов.
Этапы формирования штрих-кода
Алгоритм формирования штрих-кода включает четыре основных этапа: 1. предобработка исходного изображения; 2. экстракция признаков из изображения; 3. кодирование признаков; 4. генерация штрих-кода.
Из всех возможных систем, которые могут использовать штрих-коды для представления лиц, остановимся только на системах класса АС. Этот выбор обоснован тем, что в системах АС человек, стоящий перед камерой, старается выполнить условия, обеспечивающие стабильность съемки – захват портрета анфас при нейтральном выражении лица. Эти условия являются необходимыми для формирования стабильного штрих-кода. Однако в реальных сценариях достаточно сложно выдержать эти условия, поэтому необходимо допустить некоторые изменения изображений лиц, поступающих на вход системы АС. Примеры допустимых изменений изображений лиц показаны на рис. 3, где все изображения лиц взяты из базы «Faces94» [9].
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2014, №2 (90)
101
ЭКСПРЕСС-МЕТОД ФОРМИРОВАНИЯ ШТРИХ-КОДА ПО ИЗОБРАЖЕНИЯМ ЛИЦ
Рис. 3. Допустимые изменения изображений лиц
Часто в системах АС, основанных на идеях бимодальных систем, входными данными являются не только лица, но и голос человека [10]. В этом случае мимика человека изменяется при произношении им некоторого контрольного слова, заданной фразы или в момент разговора, что показано на рис. 4. Эти изменения изображений лиц, хоть и не так значительны, но заметны «на глаз». Связаны они с изменением размеров области лица, наклоном в плоскости XY, изменением собственно мимики лица, а также изменением яркости некоторых областей лица (из-за влияния локальных теней или очков). Исходя из отмеченного выше, на этапе 1 (предобработка исходного изображения) решаются две основные задачи. Первая – анализ исходного изображения с оценкой его параметров: размера, шкалы цветности, а также угла отклонения линии глаз от горизонтали. Вторая – поворот изображения в плоскости XY, если это необходимо, исходя из результатов анализа, корректировка размеров изображения и выравнивание его яркости.
1
0,5
0
50
100 150
200 bins
аб
Рис. 4. Изменение мимики говорящего человека: исходные изображения лиц (а); нормированные гистограммы яркости исходных изображений (для 256 интервалов яркости) (б)
Обеспечение стабильности кодирования изображений лиц в условиях, показанных на рис. 4, зависит от выбора признаков, представляющих лица. Они должны быть такими, чтобы влияние мимики и сопутствующих ей изменений на лице не было заметно. Эта задача решается на этапе 2 (экстракция признаков). И здесь есть, по крайней мере, один очень простой и многообещающий подход на основе использования гистограмм яркости исходных изображений с лицами. Как показано в [11, 12], эти гистограммы обеспечивают высокую результативность поиска изображений с лицами в больших базах данных и часто являются единственным инструментом в системах поиска изображений по содержанию. На рис. 4, б, показаны три совмещенные гистограммы яркости, вычисленные для трех изображений лиц на рис. 4, а, отличающихся мимикой. Для формирования гистограмм использовались 256 яркостных интервалов (bins=256). Видно, что форма этих гистограмм практически совпадает, что и является предпосылкой для их использования (как исходных признаков) для формирования соответствующего штрих-кода.
На этапе 3 решается наиболее важная задача, а именно кодирование признаков с представлением их требуемым числом десятичных цифр.
Задача этапа 4 в этом случае – табличное перекодирование результата, сформированного на этапе 3. Формирование стандартного штрих-кода включает вычисление контрольной суммы для десятичного кода, сформированного на этапе 3, и преобразование этого кода в бинарную матрицу, представляющую исходное изображение в графической форме штрих-кода стандартного вида.
Предлагаемый подход позволяет формировать линейные штриховые коды по изображениям лиц в формате EAN-8 и может быть применен для формирования линейных кодов в формате EAN-13 и UPS, поскольку эти форматы отличаются от формата EAN-8 только наличием цифровой преамбулы, характеризующей территориальную, социальную или ассортиментную принадлежность кода к изделию или товару. При этом способ кодирования в формате EAN-13 и UPS аналогичен кодированию штрих-кода в формате EAN-8, за исключением того, что здесь используется дополнительная таблица кодировки десятичных знаков в соответствующие штрихи.
102
Научно-технический вестник информационных технологий, механики и оптики Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №2 (90)
Г.А. Кухарев, Ю.Н. Матвеев, Н.Л. Щеголева
Формирование штрих-кода на основе гистограмм
В предлагаемом методе исходные гистограммные признаки усредняются в рамках выбранных интервалов яркости bins