Автоматический контроль качества непрерывного замеса теста в комплексно-механизированной линии с помощью компьютерной обработки изображения
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
УДК 664.6.
Автоматический контроль качества непрерывного замеса теста в комплексно-механизированной линии
с помощью компьютерной обработки изображения
Канд. техн. наук Андреев А.Н., andreevanatoly@yandex.ru
Университет ИТМО Институт холода и биотехнологий 921002, Санкт-Петербург, ул. Ломоносова, 9
канд. техн. наук Шубников В.Г., vlad.shubnikov@gmail.com
Санкт-Петербургский Государственный Политехнический Университет. Институт прикладной математики и механики
В работе рассмотрены различные статистические характеристики текстур, используемые при автоматическом анализе изображений и эти подходы применены для изображений теста в различной стадии готовности. Предложена идея автоматической системы слежения за готовностью теста, которая бы детектировала окончание процесса непрерывного замеса как можно раньше, минимизируя, тем самым, затраты энергии и материалов. В результате работы сделаны выводы о возможной применимости отдельных статистических методов, намечены пути для дальнейших исследований проблемы.
Ключевые слова: непрерывный замес, контроль качества, обработка изображений, распознавание изображений.
Automatic quality control of the continious dough mixing in the mechanized bread bakingprocess using computer image processing
Ph. D Andreev A.N., andreevanatoly@yandex.ru
University ITMO Institute of Refrigeration and Biotechnologies 191002, Russia, St. Petersburg, Lomonosov str., 9
Ph. D Shubnikov V.G., vlad.shubnikov@gmail.com
Sankt-Peterburgskij Gosudarstvennyj Politehnicheskij Universitet. Institut prikladnoj matematiki i mehaniki
There are a lot of different statistical characteristics of the textures, used in image analysis. In this work these approaches are applied to test images, corresponded to various readiness stages of dough preparation process. Proposed idea can be used in automatic baking readiness tracking system. Main goal is to detect final state of baking as soon as possible, thereby minimizing the cost of energy and materials. Some useful statistics are selected as effective digital criteria of baking readiness estimation, and proposed ways for further research in this area.
Keywords: continuous dough mixing, image processing, image recognition.
При приготовлении теста на комплексно - механизированных линиях требуется эффективное управление процессом замеса теста и непрерывный контроль качества готового полуфабриката [1,2,3,4]. Традиционно при машинной обработке такая задача
1
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
решается выставлением режима замеса в зависимости от многочисленных факторов (типа тестомесильной машины, формы рабочего органа, скорости его вращения, продолжительности замеса, рецептуры, температуры, влажности, реологических свойств теста и др.[5,6,7]).
В настоящее время в хлебопечении контроль качества теста при замесе проводят периодически по органолептическим показателям, которые субъективны: цвет, вид и состояние поверхности (визуально), консистенция, упругость (на ощупь), растяжимость и эластичность клейковины (вручную) и по реологическим показателям на приборах, которые длительны, требуют различного лабораторного оборудования [8,9]. При таком традиционном походе требуется периодически останавливать тестомесильную машину, забирать пробу теста, проводить лабораторный анализ. Кроме того трудно рассчитать момент окончания готовности теста, так как он довольно существенно меняться от того, что рассчитано для обработки на конкретной тестомесильной машине. Например, получение и подготовка клейковины для определения растяжимости и эластичности занимает 60 – 90 мин., измерение упругоэластичных свойств готовой клейковины на измерителе деформации клейковины марки ИДК-1М – 25-30 мин. Некачественный (недостаточный или избыточный) замес при непрерывном приготовлении теста может привести к остановке линии, потере времени, отрицательно повлиять на качество тестовых заготовок при последующих стадиях разделки теста (делении, округлении, формовании), расстойке и выпечке.
Автоматизированный контроль готовности замешанного теста позволит обеспечить минимальное, стабильное время работы тестомесильной машины, с учетом выше перечисленных факторов, что сократит общую продолжительность производства изделий, снизит затраты энергии, потерю сырья (например, в виде дополнительного расхода воды при замесе и муки при разделке), исключит возможные дефекты и отходы. Для автоматического приготовления выбирается гарантированный максимум времени, за которое тесто (при заданных входных параметрах) готово. При этом для каждого случая продолжительность замеса может быть недостаточная или избыточная
[10,11,12]. В задачу исследования входила разработка автоматической системы слежения за
готовностью теста, которая бы детектировала окончание процесса замеса, как можно раньше, минимизируя, тем самым, затраты энергии и материалов. В работе также рассмотрены различные статистические характеристики текстур (т.е. численные характеристики, вычисляемые по изображению различными методами: среднее, дисперсия, статистические моменты), используемые при автоматическом анализе изображений и применимость этих подходов для изображений теста в различной стадии готовности.
Предположим, что при непрерывном замесе теста установлена камера, фотографирующая текущее состояние теста (поверхностную текстуру). Камера может быть связана с вычислительным устройством, которое по полученному изображению вычислит степень «готовности» замешанного теста для дальнейшей обработки с получением готового изделия хорошего качества. При достижении заданной величины
2
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
процесс может быть остановлен автоматически, и на выходе мы получим готовое изделие с заранее заданными свойствами (параметрами качества). При этом время приготовления изделия будет минимально. Итак, на входе автомат получает изображение (фотографию) теста на текущей стадии замеса, а на выходе автомат должен классифицировать входное изображение как «не готовое», «почти готовое» и «полностью готовое». На самом деле, процесс замеса теста непрерывен и переход от одного состояния готовности к следующему так же непрерывен, но для близости к человеческому восприятию нам удобно классифицировать результат тремя категориями.
На рисунке 1 показаны три исходных изображения, соответствующих различному качеству замеса пшеничного теста: плохой замес, удовлетворительный замес и хороший замес. По заданному входному изображению теста требуется автоматически определить, в какой степени готовности находится биомасса.
Рис.1. Вид текстурной поверхности на различных стадиях готовности пшеничного теста.
Анализ предыдущих работ
Автоматический контроль качества процессов/товаров при помощи компьютерного зрения изучается несколько десятилетий. В основном, большинство работ посвящено контролю качества в производственных процессах, где участие человека не желательно, не выгодно или по каким-либо причинам затруднено. При изготовлении, хранении, обработке пищевых продуктов традиционно используется либо экспертная оценка технолога (человеческий фактор и все вытекающие последствия), либо приблизительные временные схемы с запасом. Временные схемы с запасом - приблизительный расчет времени выполнения сложного процесса (например, замес теста), в котором очень сложно дать точную предварительную оценку времени процесса из-за сложности физических процессов, происходящих с биомассой, и сложного влияния многочисленных внешних факторов. В таких случаях выполняют упрощенный расчет или пользуются статистикой наблюдения за временем процесса. При этом всегда выполняется округление временной оценки в большую сторону, так как при изготовлении пищевых продуктов избыточная обработка (в разумных пределах) лучше недостаточной.
3
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Участие человека в процессах изготовления продуктов не сложно, не требует много времени и не столь опасно, например, в сравнении с контролем процессов, протекающих на атомных станциях. Тем не менее, в наш век автоматизации и компьютеризации любых производственных процессов, задача автоматического контроля качества пищевых продуктов становится актуальной.
Зачем исследовать эту тематику? Причин как минимум две: первая – процессы изготовления пищевых продуктов контролируются человеком, и любая субъективная ошибка (случайная или преднамеренная) приводит к ухудшению качества и безопасности пищевых продуктов, и, как следствие, к ущербу здоровья потребителей. Автоматизация процессов изготовления пищевых продуктов позволит гарантированно выдерживать заранее заданное качество продукции.
Вторая причина – экономия. Используемый ныне производственный процесс производства изделий на комплексно-механизированных линиях основывается на предварительной оценке временных затрат. Эта оценка выбирается «с запасом», чтобы с уверенностью гарантировать готовность продукта. Однако избыточная оценка времени приводит к неоправданной трате времени и ресурсов (электроэнергия, вода, мука полуфабрикаты, готовая продукция), причем в промышленных масштабах эти расходы становятся ощутимыми.
Одним из современных методов оценки качества продуктов (в том числе пищевых) является метод с помощью обработки изображений [13]. Практически все алгоритмы, вычисляющие статистические характеристики используют предварительную обработку изображений для устранения естественных недостатков технического характера, таких как недостаточная освещенность, низкий контраст и наличие шума. Предварительная обработка изображений требуется для устранения незначимых деталей (шумы цифровых LCD матриц, тени от освещения и т.д.), которые не нужны для получения смысловых характеристик, но могут искажать статистические расчеты, основанные на обработке всех пикселей изображения.
В работе [14] рассматриваются способы подавления шума в изображениях, и предлагается новый подход, основанный на человеческом восприятии значимых и менее значимых участков изображения.
В работе [15] для определения качества продуктов, в том числе хлебобулочных изделий, авторы предлагают извлекать из изображения так называемые характерные точки (feature points) и по этим точкам строить классификацию изображения. Предлагается также следующая последовательность действий при обработке изображения: сначала выполняется сегментация по значениям яркости, затем выполняется бинаризация (превращения многоцветного изображения в двуцветное) и в качестве порога вычисляется значение интенсивности, находящееся между двух пиков гистограммы. Далее бинарное изображение подвергается морфологической обработке (обработка изображения, основанная на пиксельном выделении границы и ее изменении) с целью удаления относительно мелких, незначимых деталей изображения.
В работе [16] предлагается оценивать свежесть мяса с помощью обработки изображений. Выполняется построение матрицы соседства, показывающей сколько раз
4
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
в изображении пиксель интенсивностью i соседствует с пикселем интенсивности j в заданном направлении. В построенной матрице вычисляются статистические моменты, и по ним определяется степень свежести мяса. Также предлагается использовать альтернативный способ: построить матрицу длин примитивов (матрица, значения которой показывают, сколько раз пиксели одного цвета соседствуют с пикселями другого в исходном изображении, по которым можно судить о неоднородности текстуры), а по ней вычислить гистограмму. Стандартное отклонение и третий статистический момент будут довольно четко разделять изображения, соответствующие разной степени свежести мяса. Для обучения системы большим количеством изображений предлагается использовать нейронные сети (методика обучения систем распознавания образов, основанная на упрощенном моделировании работы нервной системы человека).
В работе [17] предлагается оценить степень поражения фруктов насекомыми. Для начала оценивается размер фрукта, предполагая, что его форма преимущественно эллиптическая. Для классификации изображений используется стадия обучения системы. В момент распознавания изображения для поиска наиболее похожего «тренировочного» образца используется мера «минимальное расстояние» между векторами особенностей. Для упрощения и ускорения процесса распознавания выполняется бинаризация изображения. В работе также предлагается схема сортировочного конвейера, с помощью которого можно разделять входной поток фруктов на части, соответствующие разному качеству на основе обработанного изображения. Обучение системы распознавания - первая (из двух) стадия работы системы распознавания, на которой составляют статистики, соответствующие искомым образам (позитивным) и изображениям, точно не попадающим в класс искомых данных.
В работе [18], посвященной оценке качества мексиканских лепешек (tortillas), подчеркивается, что, несмотря на механизацию процесса изготовления лепешки, окончание процесса приготовления теста полностью контролируется оператором, из-за чего замес теста может быть как недостаточным, так и избыточным. Для исследования рассматривались лепешки трех основных размерных градаций, принятых в Мексике, а также учитывались 5 степеней показателей вкуса, определяемых субъективно на базе большой выборки тестируемых лепешек. Обрабатываемые изображения подвергались сегментации, после чего из полученных изображений выделялись геометрические и цветовые особенности
Экспериментальные исследования. Анализ реберной карты, отображающей состояние (текстуру) поверхности теста.
Метод Канни [19] выделения ребер позволяет получить изображение, содержащее «ярко-выраженные» градиенты. Известно [3].,что с увеличением степени готовности теста, поверхность его становится более ровной, увеличивается
5
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
«гладкость» изображения. При этом уменьшаются характеристики, основанные на реберной карте.
Постараемся найти зависимость между реберными характеристиками изображения и качеством замеса теста. На рисунке 2 показаны три изображения образцов теста, соответствующих различному качеству, полученные, методом Канни.
Рис.2. Реберная карта для 3-х изображений образцов теста, соответствующих различному качеству.
Рисунок 2 содержит два вида пикселей - фоновые (черные) и пиксели теста (не черного цвета). Для обработки изображения теста фоновые пиксели нам не требуются, так как не несут никакой информации о тесте.
Рассчитаем, сколько процентов площади на таком изображении занимают ярко выраженные градиенты (strong gradients) по отношению к общей площади изображения в пикселях. При расчете не учитываются фоновые пиксели, которые на рисунке 2 показаны черным цветом. Производительность данного метода 48.8 кадров в секунду (20.49 миллисекунд – время обработки одного изображения) для изображения размером 390*340 пикселей. Замер выполнялся на персональном компьютере с процессором Intel iCore i7-2600, 3.40 GHz без применения аппаратного ускорения расчетов на GPU.
Введем специальную величину Re, которая будет характеризовать общую площадь ненулевых градиентов в изображении:
NM
E(x, y) R x 0y 0
e NM
B(x, y)
x 0y 0
Где: N,M – размер изображения в пикселях,
1, I (x, y) 0 B(x, y)
0, I (x, y) 0
6
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
1, I (x, y) 0, Edge(x, y) 30 E(x, y)
0, other
Где I(x,y) – матрица изображения, Edge(x,y) – матрица результата применения операции выделения ребер, примененная к исходному изображению. Результаты экспериментов приведены в табл.1.
Оценка площади градиентов
Таблица 1.
Качество замеса пшеничного теста Плохой Удовлетворительный
Хороший
Re, в процентах 8.26 5.88
0.071
Из таблицы 1 видно, что предложенная оценка Rе для определения «готовности» теста имеет довольно неравномерное распределение значений между градациями качества. В связи с эти желательно иметь такую численную оценку качества теста, в которой значение результата равномерно распределялось бы между тремя искомыми категориями качества. Преобразовав входное изображение в сегментированное, мы можем составить так называемые матрицы соседства (co-occurrence matrices), с помощью которых можно построить 6 основных статистических описателей текстуры.
Формулы расчета статистических описателей приведены в работе [11]. Энергия, или статистическая однородность - одна из характеристик, которую можно вычислить из матрицы соседства по формуле:
E
P
2 ,d
(a,
b)
a,b
Где P – матрица соседства, φ – угол, по которому определяется отношение соседства.
Энтропия вычисляется по формуле:
En P ,d (a, b) log 2 P ,d (a, b)
a ,b
Максимальная вероятность:
Pmax
max a,b
P
,d
(a,
b)
Контраст вычисляется по формуле (обычно полагают k=2, λ=1):
C a b k P (a,b)
a ,b
Обратный дифференциальный момент:
,d
7
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
M
P ,d (a,b) a,b;a b a b k
Корреляция:
[(ab)P ,d (a,b)] Cr a,b
xy
xy
Где µx, µy – средние значения, вычисляемые как:
x a P ,d (a,b)
ab
y b P ,d (a,b)
ba
А σx, σy – стандартные отклонения, вычисляемые как:
x (a x )2 P ,d (a,b)
ab
y (b y )2 P ,d (a, b)
ba
При построении матрицы соседства указывают, для какого угла и какого расстояния между соседними пикселями выполнялся статистический расчет. Обычно используют 4 направления: 0, 45, 90, 135 градусов и расстояние в 1 пиксель. Результаты расчета статических описателей текстуры для матрицы соседства M0,1приведены в табл.2.
Таблица 2. Статические описатели текстуры для матрицы соседства M0,1
(при условиях: угол φ = 0, d = 1)
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.093980 4.669490 0.244794
0.546876 0.256613 0.058058
Удовлетворительный 0.070208 4.959536 0.175387
0.584322 0.234795 0.038334
Хороший
0.098576 4.268867 0.173184
0.434488 0.090140 0.037944
Таблица 2 составлена для матрицы соседства (позиционирования) при условиях: угол φ = 0, d = 1. Лучше всего для оценки подходят: максимальная вероятность, обратный дифференциальный момент и корреляция. При увеличении d до 4 получаем другие результаты (табл.3).
8
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Таблица 3. Статические описатели текстуры для матрицы соседства M0,4
(при условиях: угол φ = 0, d = 4)
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.051041 5.813031 0.180709
5.278561 0.393547 0.055475
Удовлетворительный 0.035687 6.116639 0.127476
5.811113 0.417453 0.038204
Хороший
0.077727 4.871258 0.165735
4.537371 0.220068 0.039892
Из таблицы 3 видно, что для оценки качества замеса можно выбрать энергию (однородность).
Результаты расчета статических описателей текстуры для матрицы соседства M0,8 (при увеличении d до 8) приведены в табл.4.
Таблица 4. Статические описатели текстуры для матрицы соседства M0,8
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.037583 6.235355 0.145487
10.871040 0.380623 0.043549
Удовлетворительный 0.025678 6.589948 0.099997
12.072448 0.408011 0.033316
Хороший
0.064658 5.210199 0.161196
8.739057 0.309429 0.037731
Анализ гистограммы.
Если по изображению построить гистограмму, а затем в гистограмме вычислить второй, третий и четвертый статистические моменты, а также однородность и энтропию (подробнее статистические моменты описаны в работе [13]), то получим следующие статистические показатели, табл. 5.
9
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Статистические показатели гистограммы
Таблица 5.
Качество замеса пшеничного теста Плохой Удовлетворительный Хороший
2-й момент
1313 1929 1973
3-й момент
90128 172946 212136
4-й момент
11312653 27723224 36269692
Однородность Энтропия
0.015403 0.012309 0.013060
6.54 6.82 6.73
Из таблицы 3 видно, что второй статистический момент или дисперсия, показывает, насколько график гистограммы максимально отклоняется от среднего значения. На рис.3 приведены гистограммы трех изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
Рис.3. Гистограммы трех изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
Анализ по длине примитивов.
Для каждого пикселя изображения (в градациях серого) вычислим максимальную длину отрезка, все пиксели которого одинакового цвета [20]. В работе предлагается вычислить такую длину для любого направления, проходящего чрез текущую точку. Для вычисления этой длины будем применять два похода: один – наиболее вычислительно эффективный, а другой – более точный. Начнем с более простого подхода - будем сканировать изображение только в горизонтальном и вертикальном направлениях. Из исходного изображения будет получена матрица длин примитивов в каждом пикселе. А из нее мы можем построить такую матрицу B(a,r), компоненты которой будут содержать количество найденных примитивов (отрезков) длиной r пикселей и имеющие цвет интенсивности a. Обозначим L – число различных градаций интенсивности цвета (в нашем эксперименте мы взяли 16-цветную градацию, а не 256цветную, как это принято обыкновенно). Относительно малое количество цветов позволит нам выделить в изображении наиболее длинные однородные участки,
10
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
игнорируя мелкие шумовые детали. Пусть N – максимальная длина примитива в изображении. Суммарная длина всех примитивов (отрезков) будет равна
LN
K B(a,r)
a 1r 1
Далее мы можем вычислить следующие статистические параметры текстуры на базе матрицы B: Короткий акцент примитивов
Длинный акцент примитивов
Se
1 K
*
L a1
N r1
B(a, r ) r2
Однородность примитивов
Le
1L *
N
B(a, r)* r2
K a1r1
Un
1* L
N2
B(a, r)
K a1 r1
Однородность примитивов по длине
Процент примитивов
Lu
1* N
L2
B(a, r)
K r1 a1
Pe K M *N
Где M, N – ширина и высота изображения в пикселях. Ниже приведена таблица 6, показывающая значения статистических параметров
для матрицы длин примитивов для изображений с разным качеством замеса теста (при использовании горизонтального и вертикального сканирования при построении
матрицы длин примитивов).
Таблица 6
Значения статистических параметров для матрицы длин примитивов для изображений с разным качеством замеса теста
Качество замеса пшеничного теста
Плохой Удовлетворительный Хороший
Короткий акцент примитивов,
Se
0.047294
0.042150
0.029151
Длинный акцент примитивов,
Le
567.863159
525.113403
11550.924805
Однородность Однородность Процент примитивов, примитивов примитивов, Un по длине, Lu Pe
18004.638672 19194.128906 18687.384766
2088.238281 2737.172852 546.984680
0.531237 0.711244 0.640792
11
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Из таблицы можно сделать вывод, что короткий акцент примитивов хорошо описывает качество замеса теста. На рисунке 4, показаны матрицы длин примитивов для трех исходных изображений.
Рис.4. Матрицы длин примитивов для трех исходных изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
На рисунке 4 видно, что для наиболее однородного изображения (соответствующего тесту в наилучшей степени готовности) получается наиболее яркая карта длин примитивов. Для вывода на экран мы выполнили нормализацию значений карты в диапазоне [0..255].
Далее рассчитаем матрицу длин примитивов в каждом пикселе, сканируя все возможные направления (не только горизонтальное и вертикальное). В результате получим следующие изображения, рис. 5.
Рис.5. Матрицы длин примитивов для трех исходных изображений текстурной поверхности на различных стадиях готовности пшеничного теста. при сканировании во всех направлениях
Статистические параметры для матрицы длин примитивов приведены в табл.7.
12
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Таблица 7. Статистические параметры для матрицы длин примитивов
Качество замеса пшеничного теста
Плохой Удовлетворительный Хороший
Короткий акцент примитивов,
Se
0.011263
0.011055
0.007904
Длинный акцент примитивов,
Le
2158.726074
1843.004517
20243.466797
Однородность Однородность Процент примитивов, примитивов примитивов, Un по длине, Lu Pe
17662.207031 18886.697266 19034.169922
1032.437378 1321.586914 416.295929
0.531342 0.711403 0.640890
Из таблицы 7 следует, что для оценки качества теста можно использовать короткий акцент примитивов и однородность примитивов.
Осталось понять, насколько отличаются по производительности оба предложенных способа вычисления матриц длин примитивов. Производительность обработки одного изображения построением матрицы длин примитивов приведена в табл.8.
Таблица 8. Производительность обработки одного изображения построением матрицы длин
примитивов.
Метод построения матрицы длин примитивов
Вычисление матрицы длин примитивов, сканируя в горизонтальном и вертикальном направлениях
Вычисление матрицы длин примитивов, сканируя во всех возможных направлениях
Время обработки изображения размером 390*340 пикселей, миллисекунд 257
5000
Измерения выполнялись на персональном компьютере с процессором Intel iCore i7-2600, 3.40 GHz без применения аппаратного ускорения расчетов на GPU. Из таблицы 8 следует, что оба способа практически применимы, но выбор способа построения матрицы длин примитивов зависит от конкретных технологических условий. Наиболее точный метод требует около 5 секунд для обработки одного изображения.
Выводы. В результате исследований установлено, что некоторые статистические
характеристики текстур не подходят для точной, детерминированной классификации
13
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
изображений теста на разных стадиях готовности. Такие текстурные характеристики, как, например, однородность и энтропия гистограммы, вполне уместны для автоматического определения степени готовности теста при непрерывном замесе. Также хорошую перспективу представляет собой подход, в котором вычисляется матрица длин максимальных примитивов (короткий акцент примитивов).
Однако в связи с использованием малого набора экспериментальных данных для построения статистических характеристик работу можно позиционировать как предварительную постановку задачи (автоматического контроля качества теста при механической обработке) и обзора существующих статистических методов обработки изображений применительно к фотографиям процесса непрерывного замеса теста. Для дальнейших исследований необходимо использовать более обширную базу данных тестовых изображений, исследовать другие методы, применяемые в компьютерном зрении, и найти набор вычислительных методов, дающих устойчивую классификацию степени готовности теста по его изображениям.
Литература 1. Андреев А.Н., Мачихин С.А. Механизация производства сдобных булочных изделий. . М.: ЦНИИТЭИ хлебопродуктов, 1992.. С.40 2. Андреев А.Н. Механизация производства соломки. М.: ЦНИИТЭИ хлебопродуктов, 1992 .С.30 3. Андреев А.Н., Арет В.А., Алексеев Г.В. Технологическое оборудование для получения зернопродуктов с повышенными структурно-механическими свойствами. III международный конгресс. Зерно и хлеб России. СПб. 2007. С. 122-123. 4. Арет В.А.Школа физико-химической механики СПбГУНиПТ 5. Арет В.А., Байченко Л.А., Денисенко А.Ф., Николаев Л.К., Щербаков А.С. Использование результатов ротационной вискозиметрии пшеничного теста в расчетах трубопроводов 6. Арет В.А., Васильев Д.А Влияние геометрических и кинематических параметров на объемную производительность червячного нагнетателя 7. Китиссу А.П. Замес: его влияние на качество хлеба. [Текст] / П.А. Китиссу // Хлебное дело. - 2000. - № 2. - С. 43. 8. Китиссу А.П. Технология изготовления фрацузских багетов. [Текст] / П.А. Китиссу // ПАРТНЕР. Кондитер хлебопек. - 2007. - № 8. - С. 60-64. 9. Андреев А.Н. Контроль качества сырья в хлебопекарном производстве. Учебное пособие. СПб., ГУНиПТ, 2006. С81
14
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
10. Андреев А.Н. Использование реологических методов для оценки качества зернопродуктов. Международный конгресс. Зерно и хлеб России. СПб. 2006г. С. 104-
105. 11. Алексеев Г.В. ., Андреев А.Н. Формирование целевой функции оценки
качества раскатки слоеного теста 12. Иванова А.С., Алексеев Г.В. Влияние характеристик теста на скорость
заполнения формы Иванова А.С., Алексеев Г.В. 13. Р.Гонсалес, Р.Вудс “Цифровая обработка изображений”, Техносфера, Москва,
2005. -1072 стр. 14. В.Г. Шубников, С.Ю.Беляев “Подавление шума и оценка различий в
изображениях“, Научно-Технические Ведомости СПбГПУ, 3’(174) 2013. - 17 стр. 15. D.Mery, F.Perdreschi, A.Soto “Automated Design of a Computer Vision System
for Visual Food Quality Evaluation”, Food Bioprocess Technolpol, 2012. – 16 pages. 16. Y.Q.Tian, D.G.McCall, W.Dripps, Q.Yu, P.Gong “Using computer vision
technology to evaluate the meat tenderness of grazing beef”, Food Australia 57, pages 322-
326. 17. R.Mahendran, G.C.Jayachree, K.Alagusundaram “Application of Computer Vision
Technique on Sorting and Grading of Fruits and Vegetables”, Journal Food Processing and Technology, 2011. – 7 pages.
18. D.Mery, J.Chanona-Perez, A.Soto, J.M.Aguilera, A.Cipriano, N.Velez-Rivera, I.Arzate-Vazquez, G.Guiterrez-Lopez “Quality Classification of Corn Tortillas using Computer Vision”, Journal of Food Engineering, 2010, pages 357-364.
19. J.Canny “A Computational Approach To Edge Detection”, IEEE Trans.Pattern
Analysis and Machine Intelligence, 1986. Pages 679-698. 20. M.Sonka, V.Hlavac, R.Boyle “Image Processing Analysis and Machine Vision, 3rd
edition”, Thomson Learning, 2008. – 830 pages.
15
№ 1, 2014
УДК 664.6.
Автоматический контроль качества непрерывного замеса теста в комплексно-механизированной линии
с помощью компьютерной обработки изображения
Канд. техн. наук Андреев А.Н., andreevanatoly@yandex.ru
Университет ИТМО Институт холода и биотехнологий 921002, Санкт-Петербург, ул. Ломоносова, 9
канд. техн. наук Шубников В.Г., vlad.shubnikov@gmail.com
Санкт-Петербургский Государственный Политехнический Университет. Институт прикладной математики и механики
В работе рассмотрены различные статистические характеристики текстур, используемые при автоматическом анализе изображений и эти подходы применены для изображений теста в различной стадии готовности. Предложена идея автоматической системы слежения за готовностью теста, которая бы детектировала окончание процесса непрерывного замеса как можно раньше, минимизируя, тем самым, затраты энергии и материалов. В результате работы сделаны выводы о возможной применимости отдельных статистических методов, намечены пути для дальнейших исследований проблемы.
Ключевые слова: непрерывный замес, контроль качества, обработка изображений, распознавание изображений.
Automatic quality control of the continious dough mixing in the mechanized bread bakingprocess using computer image processing
Ph. D Andreev A.N., andreevanatoly@yandex.ru
University ITMO Institute of Refrigeration and Biotechnologies 191002, Russia, St. Petersburg, Lomonosov str., 9
Ph. D Shubnikov V.G., vlad.shubnikov@gmail.com
Sankt-Peterburgskij Gosudarstvennyj Politehnicheskij Universitet. Institut prikladnoj matematiki i mehaniki
There are a lot of different statistical characteristics of the textures, used in image analysis. In this work these approaches are applied to test images, corresponded to various readiness stages of dough preparation process. Proposed idea can be used in automatic baking readiness tracking system. Main goal is to detect final state of baking as soon as possible, thereby minimizing the cost of energy and materials. Some useful statistics are selected as effective digital criteria of baking readiness estimation, and proposed ways for further research in this area.
Keywords: continuous dough mixing, image processing, image recognition.
При приготовлении теста на комплексно - механизированных линиях требуется эффективное управление процессом замеса теста и непрерывный контроль качества готового полуфабриката [1,2,3,4]. Традиционно при машинной обработке такая задача
1
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
решается выставлением режима замеса в зависимости от многочисленных факторов (типа тестомесильной машины, формы рабочего органа, скорости его вращения, продолжительности замеса, рецептуры, температуры, влажности, реологических свойств теста и др.[5,6,7]).
В настоящее время в хлебопечении контроль качества теста при замесе проводят периодически по органолептическим показателям, которые субъективны: цвет, вид и состояние поверхности (визуально), консистенция, упругость (на ощупь), растяжимость и эластичность клейковины (вручную) и по реологическим показателям на приборах, которые длительны, требуют различного лабораторного оборудования [8,9]. При таком традиционном походе требуется периодически останавливать тестомесильную машину, забирать пробу теста, проводить лабораторный анализ. Кроме того трудно рассчитать момент окончания готовности теста, так как он довольно существенно меняться от того, что рассчитано для обработки на конкретной тестомесильной машине. Например, получение и подготовка клейковины для определения растяжимости и эластичности занимает 60 – 90 мин., измерение упругоэластичных свойств готовой клейковины на измерителе деформации клейковины марки ИДК-1М – 25-30 мин. Некачественный (недостаточный или избыточный) замес при непрерывном приготовлении теста может привести к остановке линии, потере времени, отрицательно повлиять на качество тестовых заготовок при последующих стадиях разделки теста (делении, округлении, формовании), расстойке и выпечке.
Автоматизированный контроль готовности замешанного теста позволит обеспечить минимальное, стабильное время работы тестомесильной машины, с учетом выше перечисленных факторов, что сократит общую продолжительность производства изделий, снизит затраты энергии, потерю сырья (например, в виде дополнительного расхода воды при замесе и муки при разделке), исключит возможные дефекты и отходы. Для автоматического приготовления выбирается гарантированный максимум времени, за которое тесто (при заданных входных параметрах) готово. При этом для каждого случая продолжительность замеса может быть недостаточная или избыточная
[10,11,12]. В задачу исследования входила разработка автоматической системы слежения за
готовностью теста, которая бы детектировала окончание процесса замеса, как можно раньше, минимизируя, тем самым, затраты энергии и материалов. В работе также рассмотрены различные статистические характеристики текстур (т.е. численные характеристики, вычисляемые по изображению различными методами: среднее, дисперсия, статистические моменты), используемые при автоматическом анализе изображений и применимость этих подходов для изображений теста в различной стадии готовности.
Предположим, что при непрерывном замесе теста установлена камера, фотографирующая текущее состояние теста (поверхностную текстуру). Камера может быть связана с вычислительным устройством, которое по полученному изображению вычислит степень «готовности» замешанного теста для дальнейшей обработки с получением готового изделия хорошего качества. При достижении заданной величины
2
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
процесс может быть остановлен автоматически, и на выходе мы получим готовое изделие с заранее заданными свойствами (параметрами качества). При этом время приготовления изделия будет минимально. Итак, на входе автомат получает изображение (фотографию) теста на текущей стадии замеса, а на выходе автомат должен классифицировать входное изображение как «не готовое», «почти готовое» и «полностью готовое». На самом деле, процесс замеса теста непрерывен и переход от одного состояния готовности к следующему так же непрерывен, но для близости к человеческому восприятию нам удобно классифицировать результат тремя категориями.
На рисунке 1 показаны три исходных изображения, соответствующих различному качеству замеса пшеничного теста: плохой замес, удовлетворительный замес и хороший замес. По заданному входному изображению теста требуется автоматически определить, в какой степени готовности находится биомасса.
Рис.1. Вид текстурной поверхности на различных стадиях готовности пшеничного теста.
Анализ предыдущих работ
Автоматический контроль качества процессов/товаров при помощи компьютерного зрения изучается несколько десятилетий. В основном, большинство работ посвящено контролю качества в производственных процессах, где участие человека не желательно, не выгодно или по каким-либо причинам затруднено. При изготовлении, хранении, обработке пищевых продуктов традиционно используется либо экспертная оценка технолога (человеческий фактор и все вытекающие последствия), либо приблизительные временные схемы с запасом. Временные схемы с запасом - приблизительный расчет времени выполнения сложного процесса (например, замес теста), в котором очень сложно дать точную предварительную оценку времени процесса из-за сложности физических процессов, происходящих с биомассой, и сложного влияния многочисленных внешних факторов. В таких случаях выполняют упрощенный расчет или пользуются статистикой наблюдения за временем процесса. При этом всегда выполняется округление временной оценки в большую сторону, так как при изготовлении пищевых продуктов избыточная обработка (в разумных пределах) лучше недостаточной.
3
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Участие человека в процессах изготовления продуктов не сложно, не требует много времени и не столь опасно, например, в сравнении с контролем процессов, протекающих на атомных станциях. Тем не менее, в наш век автоматизации и компьютеризации любых производственных процессов, задача автоматического контроля качества пищевых продуктов становится актуальной.
Зачем исследовать эту тематику? Причин как минимум две: первая – процессы изготовления пищевых продуктов контролируются человеком, и любая субъективная ошибка (случайная или преднамеренная) приводит к ухудшению качества и безопасности пищевых продуктов, и, как следствие, к ущербу здоровья потребителей. Автоматизация процессов изготовления пищевых продуктов позволит гарантированно выдерживать заранее заданное качество продукции.
Вторая причина – экономия. Используемый ныне производственный процесс производства изделий на комплексно-механизированных линиях основывается на предварительной оценке временных затрат. Эта оценка выбирается «с запасом», чтобы с уверенностью гарантировать готовность продукта. Однако избыточная оценка времени приводит к неоправданной трате времени и ресурсов (электроэнергия, вода, мука полуфабрикаты, готовая продукция), причем в промышленных масштабах эти расходы становятся ощутимыми.
Одним из современных методов оценки качества продуктов (в том числе пищевых) является метод с помощью обработки изображений [13]. Практически все алгоритмы, вычисляющие статистические характеристики используют предварительную обработку изображений для устранения естественных недостатков технического характера, таких как недостаточная освещенность, низкий контраст и наличие шума. Предварительная обработка изображений требуется для устранения незначимых деталей (шумы цифровых LCD матриц, тени от освещения и т.д.), которые не нужны для получения смысловых характеристик, но могут искажать статистические расчеты, основанные на обработке всех пикселей изображения.
В работе [14] рассматриваются способы подавления шума в изображениях, и предлагается новый подход, основанный на человеческом восприятии значимых и менее значимых участков изображения.
В работе [15] для определения качества продуктов, в том числе хлебобулочных изделий, авторы предлагают извлекать из изображения так называемые характерные точки (feature points) и по этим точкам строить классификацию изображения. Предлагается также следующая последовательность действий при обработке изображения: сначала выполняется сегментация по значениям яркости, затем выполняется бинаризация (превращения многоцветного изображения в двуцветное) и в качестве порога вычисляется значение интенсивности, находящееся между двух пиков гистограммы. Далее бинарное изображение подвергается морфологической обработке (обработка изображения, основанная на пиксельном выделении границы и ее изменении) с целью удаления относительно мелких, незначимых деталей изображения.
В работе [16] предлагается оценивать свежесть мяса с помощью обработки изображений. Выполняется построение матрицы соседства, показывающей сколько раз
4
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
в изображении пиксель интенсивностью i соседствует с пикселем интенсивности j в заданном направлении. В построенной матрице вычисляются статистические моменты, и по ним определяется степень свежести мяса. Также предлагается использовать альтернативный способ: построить матрицу длин примитивов (матрица, значения которой показывают, сколько раз пиксели одного цвета соседствуют с пикселями другого в исходном изображении, по которым можно судить о неоднородности текстуры), а по ней вычислить гистограмму. Стандартное отклонение и третий статистический момент будут довольно четко разделять изображения, соответствующие разной степени свежести мяса. Для обучения системы большим количеством изображений предлагается использовать нейронные сети (методика обучения систем распознавания образов, основанная на упрощенном моделировании работы нервной системы человека).
В работе [17] предлагается оценить степень поражения фруктов насекомыми. Для начала оценивается размер фрукта, предполагая, что его форма преимущественно эллиптическая. Для классификации изображений используется стадия обучения системы. В момент распознавания изображения для поиска наиболее похожего «тренировочного» образца используется мера «минимальное расстояние» между векторами особенностей. Для упрощения и ускорения процесса распознавания выполняется бинаризация изображения. В работе также предлагается схема сортировочного конвейера, с помощью которого можно разделять входной поток фруктов на части, соответствующие разному качеству на основе обработанного изображения. Обучение системы распознавания - первая (из двух) стадия работы системы распознавания, на которой составляют статистики, соответствующие искомым образам (позитивным) и изображениям, точно не попадающим в класс искомых данных.
В работе [18], посвященной оценке качества мексиканских лепешек (tortillas), подчеркивается, что, несмотря на механизацию процесса изготовления лепешки, окончание процесса приготовления теста полностью контролируется оператором, из-за чего замес теста может быть как недостаточным, так и избыточным. Для исследования рассматривались лепешки трех основных размерных градаций, принятых в Мексике, а также учитывались 5 степеней показателей вкуса, определяемых субъективно на базе большой выборки тестируемых лепешек. Обрабатываемые изображения подвергались сегментации, после чего из полученных изображений выделялись геометрические и цветовые особенности
Экспериментальные исследования. Анализ реберной карты, отображающей состояние (текстуру) поверхности теста.
Метод Канни [19] выделения ребер позволяет получить изображение, содержащее «ярко-выраженные» градиенты. Известно [3].,что с увеличением степени готовности теста, поверхность его становится более ровной, увеличивается
5
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
«гладкость» изображения. При этом уменьшаются характеристики, основанные на реберной карте.
Постараемся найти зависимость между реберными характеристиками изображения и качеством замеса теста. На рисунке 2 показаны три изображения образцов теста, соответствующих различному качеству, полученные, методом Канни.
Рис.2. Реберная карта для 3-х изображений образцов теста, соответствующих различному качеству.
Рисунок 2 содержит два вида пикселей - фоновые (черные) и пиксели теста (не черного цвета). Для обработки изображения теста фоновые пиксели нам не требуются, так как не несут никакой информации о тесте.
Рассчитаем, сколько процентов площади на таком изображении занимают ярко выраженные градиенты (strong gradients) по отношению к общей площади изображения в пикселях. При расчете не учитываются фоновые пиксели, которые на рисунке 2 показаны черным цветом. Производительность данного метода 48.8 кадров в секунду (20.49 миллисекунд – время обработки одного изображения) для изображения размером 390*340 пикселей. Замер выполнялся на персональном компьютере с процессором Intel iCore i7-2600, 3.40 GHz без применения аппаратного ускорения расчетов на GPU.
Введем специальную величину Re, которая будет характеризовать общую площадь ненулевых градиентов в изображении:
NM
E(x, y) R x 0y 0
e NM
B(x, y)
x 0y 0
Где: N,M – размер изображения в пикселях,
1, I (x, y) 0 B(x, y)
0, I (x, y) 0
6
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
1, I (x, y) 0, Edge(x, y) 30 E(x, y)
0, other
Где I(x,y) – матрица изображения, Edge(x,y) – матрица результата применения операции выделения ребер, примененная к исходному изображению. Результаты экспериментов приведены в табл.1.
Оценка площади градиентов
Таблица 1.
Качество замеса пшеничного теста Плохой Удовлетворительный
Хороший
Re, в процентах 8.26 5.88
0.071
Из таблицы 1 видно, что предложенная оценка Rе для определения «готовности» теста имеет довольно неравномерное распределение значений между градациями качества. В связи с эти желательно иметь такую численную оценку качества теста, в которой значение результата равномерно распределялось бы между тремя искомыми категориями качества. Преобразовав входное изображение в сегментированное, мы можем составить так называемые матрицы соседства (co-occurrence matrices), с помощью которых можно построить 6 основных статистических описателей текстуры.
Формулы расчета статистических описателей приведены в работе [11]. Энергия, или статистическая однородность - одна из характеристик, которую можно вычислить из матрицы соседства по формуле:
E
P
2 ,d
(a,
b)
a,b
Где P – матрица соседства, φ – угол, по которому определяется отношение соседства.
Энтропия вычисляется по формуле:
En P ,d (a, b) log 2 P ,d (a, b)
a ,b
Максимальная вероятность:
Pmax
max a,b
P
,d
(a,
b)
Контраст вычисляется по формуле (обычно полагают k=2, λ=1):
C a b k P (a,b)
a ,b
Обратный дифференциальный момент:
,d
7
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
M
P ,d (a,b) a,b;a b a b k
Корреляция:
[(ab)P ,d (a,b)] Cr a,b
xy
xy
Где µx, µy – средние значения, вычисляемые как:
x a P ,d (a,b)
ab
y b P ,d (a,b)
ba
А σx, σy – стандартные отклонения, вычисляемые как:
x (a x )2 P ,d (a,b)
ab
y (b y )2 P ,d (a, b)
ba
При построении матрицы соседства указывают, для какого угла и какого расстояния между соседними пикселями выполнялся статистический расчет. Обычно используют 4 направления: 0, 45, 90, 135 градусов и расстояние в 1 пиксель. Результаты расчета статических описателей текстуры для матрицы соседства M0,1приведены в табл.2.
Таблица 2. Статические описатели текстуры для матрицы соседства M0,1
(при условиях: угол φ = 0, d = 1)
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.093980 4.669490 0.244794
0.546876 0.256613 0.058058
Удовлетворительный 0.070208 4.959536 0.175387
0.584322 0.234795 0.038334
Хороший
0.098576 4.268867 0.173184
0.434488 0.090140 0.037944
Таблица 2 составлена для матрицы соседства (позиционирования) при условиях: угол φ = 0, d = 1. Лучше всего для оценки подходят: максимальная вероятность, обратный дифференциальный момент и корреляция. При увеличении d до 4 получаем другие результаты (табл.3).
8
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Таблица 3. Статические описатели текстуры для матрицы соседства M0,4
(при условиях: угол φ = 0, d = 4)
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.051041 5.813031 0.180709
5.278561 0.393547 0.055475
Удовлетворительный 0.035687 6.116639 0.127476
5.811113 0.417453 0.038204
Хороший
0.077727 4.871258 0.165735
4.537371 0.220068 0.039892
Из таблицы 3 видно, что для оценки качества замеса можно выбрать энергию (однородность).
Результаты расчета статических описателей текстуры для матрицы соседства M0,8 (при увеличении d до 8) приведены в табл.4.
Таблица 4. Статические описатели текстуры для матрицы соседства M0,8
Качество замеса пшеничного теста
Энергия Энтропия Макс.вероятность Контраст Обратный Корреляция Диф.момент
Плохой
0.037583 6.235355 0.145487
10.871040 0.380623 0.043549
Удовлетворительный 0.025678 6.589948 0.099997
12.072448 0.408011 0.033316
Хороший
0.064658 5.210199 0.161196
8.739057 0.309429 0.037731
Анализ гистограммы.
Если по изображению построить гистограмму, а затем в гистограмме вычислить второй, третий и четвертый статистические моменты, а также однородность и энтропию (подробнее статистические моменты описаны в работе [13]), то получим следующие статистические показатели, табл. 5.
9
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Статистические показатели гистограммы
Таблица 5.
Качество замеса пшеничного теста Плохой Удовлетворительный Хороший
2-й момент
1313 1929 1973
3-й момент
90128 172946 212136
4-й момент
11312653 27723224 36269692
Однородность Энтропия
0.015403 0.012309 0.013060
6.54 6.82 6.73
Из таблицы 3 видно, что второй статистический момент или дисперсия, показывает, насколько график гистограммы максимально отклоняется от среднего значения. На рис.3 приведены гистограммы трех изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
Рис.3. Гистограммы трех изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
Анализ по длине примитивов.
Для каждого пикселя изображения (в градациях серого) вычислим максимальную длину отрезка, все пиксели которого одинакового цвета [20]. В работе предлагается вычислить такую длину для любого направления, проходящего чрез текущую точку. Для вычисления этой длины будем применять два похода: один – наиболее вычислительно эффективный, а другой – более точный. Начнем с более простого подхода - будем сканировать изображение только в горизонтальном и вертикальном направлениях. Из исходного изображения будет получена матрица длин примитивов в каждом пикселе. А из нее мы можем построить такую матрицу B(a,r), компоненты которой будут содержать количество найденных примитивов (отрезков) длиной r пикселей и имеющие цвет интенсивности a. Обозначим L – число различных градаций интенсивности цвета (в нашем эксперименте мы взяли 16-цветную градацию, а не 256цветную, как это принято обыкновенно). Относительно малое количество цветов позволит нам выделить в изображении наиболее длинные однородные участки,
10
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
игнорируя мелкие шумовые детали. Пусть N – максимальная длина примитива в изображении. Суммарная длина всех примитивов (отрезков) будет равна
LN
K B(a,r)
a 1r 1
Далее мы можем вычислить следующие статистические параметры текстуры на базе матрицы B: Короткий акцент примитивов
Длинный акцент примитивов
Se
1 K
*
L a1
N r1
B(a, r ) r2
Однородность примитивов
Le
1L *
N
B(a, r)* r2
K a1r1
Un
1* L
N2
B(a, r)
K a1 r1
Однородность примитивов по длине
Процент примитивов
Lu
1* N
L2
B(a, r)
K r1 a1
Pe K M *N
Где M, N – ширина и высота изображения в пикселях. Ниже приведена таблица 6, показывающая значения статистических параметров
для матрицы длин примитивов для изображений с разным качеством замеса теста (при использовании горизонтального и вертикального сканирования при построении
матрицы длин примитивов).
Таблица 6
Значения статистических параметров для матрицы длин примитивов для изображений с разным качеством замеса теста
Качество замеса пшеничного теста
Плохой Удовлетворительный Хороший
Короткий акцент примитивов,
Se
0.047294
0.042150
0.029151
Длинный акцент примитивов,
Le
567.863159
525.113403
11550.924805
Однородность Однородность Процент примитивов, примитивов примитивов, Un по длине, Lu Pe
18004.638672 19194.128906 18687.384766
2088.238281 2737.172852 546.984680
0.531237 0.711244 0.640792
11
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Из таблицы можно сделать вывод, что короткий акцент примитивов хорошо описывает качество замеса теста. На рисунке 4, показаны матрицы длин примитивов для трех исходных изображений.
Рис.4. Матрицы длин примитивов для трех исходных изображений текстурной поверхности на различных стадиях готовности пшеничного теста.
На рисунке 4 видно, что для наиболее однородного изображения (соответствующего тесту в наилучшей степени готовности) получается наиболее яркая карта длин примитивов. Для вывода на экран мы выполнили нормализацию значений карты в диапазоне [0..255].
Далее рассчитаем матрицу длин примитивов в каждом пикселе, сканируя все возможные направления (не только горизонтальное и вертикальное). В результате получим следующие изображения, рис. 5.
Рис.5. Матрицы длин примитивов для трех исходных изображений текстурной поверхности на различных стадиях готовности пшеничного теста. при сканировании во всех направлениях
Статистические параметры для матрицы длин примитивов приведены в табл.7.
12
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
Таблица 7. Статистические параметры для матрицы длин примитивов
Качество замеса пшеничного теста
Плохой Удовлетворительный Хороший
Короткий акцент примитивов,
Se
0.011263
0.011055
0.007904
Длинный акцент примитивов,
Le
2158.726074
1843.004517
20243.466797
Однородность Однородность Процент примитивов, примитивов примитивов, Un по длине, Lu Pe
17662.207031 18886.697266 19034.169922
1032.437378 1321.586914 416.295929
0.531342 0.711403 0.640890
Из таблицы 7 следует, что для оценки качества теста можно использовать короткий акцент примитивов и однородность примитивов.
Осталось понять, насколько отличаются по производительности оба предложенных способа вычисления матриц длин примитивов. Производительность обработки одного изображения построением матрицы длин примитивов приведена в табл.8.
Таблица 8. Производительность обработки одного изображения построением матрицы длин
примитивов.
Метод построения матрицы длин примитивов
Вычисление матрицы длин примитивов, сканируя в горизонтальном и вертикальном направлениях
Вычисление матрицы длин примитивов, сканируя во всех возможных направлениях
Время обработки изображения размером 390*340 пикселей, миллисекунд 257
5000
Измерения выполнялись на персональном компьютере с процессором Intel iCore i7-2600, 3.40 GHz без применения аппаратного ускорения расчетов на GPU. Из таблицы 8 следует, что оба способа практически применимы, но выбор способа построения матрицы длин примитивов зависит от конкретных технологических условий. Наиболее точный метод требует около 5 секунд для обработки одного изображения.
Выводы. В результате исследований установлено, что некоторые статистические
характеристики текстур не подходят для точной, детерминированной классификации
13
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
изображений теста на разных стадиях готовности. Такие текстурные характеристики, как, например, однородность и энтропия гистограммы, вполне уместны для автоматического определения степени готовности теста при непрерывном замесе. Также хорошую перспективу представляет собой подход, в котором вычисляется матрица длин максимальных примитивов (короткий акцент примитивов).
Однако в связи с использованием малого набора экспериментальных данных для построения статистических характеристик работу можно позиционировать как предварительную постановку задачи (автоматического контроля качества теста при механической обработке) и обзора существующих статистических методов обработки изображений применительно к фотографиям процесса непрерывного замеса теста. Для дальнейших исследований необходимо использовать более обширную базу данных тестовых изображений, исследовать другие методы, применяемые в компьютерном зрении, и найти набор вычислительных методов, дающих устойчивую классификацию степени готовности теста по его изображениям.
Литература 1. Андреев А.Н., Мачихин С.А. Механизация производства сдобных булочных изделий. . М.: ЦНИИТЭИ хлебопродуктов, 1992.. С.40 2. Андреев А.Н. Механизация производства соломки. М.: ЦНИИТЭИ хлебопродуктов, 1992 .С.30 3. Андреев А.Н., Арет В.А., Алексеев Г.В. Технологическое оборудование для получения зернопродуктов с повышенными структурно-механическими свойствами. III международный конгресс. Зерно и хлеб России. СПб. 2007. С. 122-123. 4. Арет В.А.Школа физико-химической механики СПбГУНиПТ 5. Арет В.А., Байченко Л.А., Денисенко А.Ф., Николаев Л.К., Щербаков А.С. Использование результатов ротационной вискозиметрии пшеничного теста в расчетах трубопроводов 6. Арет В.А., Васильев Д.А Влияние геометрических и кинематических параметров на объемную производительность червячного нагнетателя 7. Китиссу А.П. Замес: его влияние на качество хлеба. [Текст] / П.А. Китиссу // Хлебное дело. - 2000. - № 2. - С. 43. 8. Китиссу А.П. Технология изготовления фрацузских багетов. [Текст] / П.А. Китиссу // ПАРТНЕР. Кондитер хлебопек. - 2007. - № 8. - С. 60-64. 9. Андреев А.Н. Контроль качества сырья в хлебопекарном производстве. Учебное пособие. СПб., ГУНиПТ, 2006. С81
14
Научный журнал НИУ ИТМО. Серия «Процессы и аппараты пищевых производств»
№ 1, 2014
10. Андреев А.Н. Использование реологических методов для оценки качества зернопродуктов. Международный конгресс. Зерно и хлеб России. СПб. 2006г. С. 104-
105. 11. Алексеев Г.В. ., Андреев А.Н. Формирование целевой функции оценки
качества раскатки слоеного теста 12. Иванова А.С., Алексеев Г.В. Влияние характеристик теста на скорость
заполнения формы Иванова А.С., Алексеев Г.В. 13. Р.Гонсалес, Р.Вудс “Цифровая обработка изображений”, Техносфера, Москва,
2005. -1072 стр. 14. В.Г. Шубников, С.Ю.Беляев “Подавление шума и оценка различий в
изображениях“, Научно-Технические Ведомости СПбГПУ, 3’(174) 2013. - 17 стр. 15. D.Mery, F.Perdreschi, A.Soto “Automated Design of a Computer Vision System
for Visual Food Quality Evaluation”, Food Bioprocess Technolpol, 2012. – 16 pages. 16. Y.Q.Tian, D.G.McCall, W.Dripps, Q.Yu, P.Gong “Using computer vision
technology to evaluate the meat tenderness of grazing beef”, Food Australia 57, pages 322-
326. 17. R.Mahendran, G.C.Jayachree, K.Alagusundaram “Application of Computer Vision
Technique on Sorting and Grading of Fruits and Vegetables”, Journal Food Processing and Technology, 2011. – 7 pages.
18. D.Mery, J.Chanona-Perez, A.Soto, J.M.Aguilera, A.Cipriano, N.Velez-Rivera, I.Arzate-Vazquez, G.Guiterrez-Lopez “Quality Classification of Corn Tortillas using Computer Vision”, Journal of Food Engineering, 2010, pages 357-364.
19. J.Canny “A Computational Approach To Edge Detection”, IEEE Trans.Pattern
Analysis and Machine Intelligence, 1986. Pages 679-698. 20. M.Sonka, V.Hlavac, R.Boyle “Image Processing Analysis and Machine Vision, 3rd
edition”, Thomson Learning, 2008. – 830 pages.
15