Применение метода восстановления глубины из фокусировки для микроскопических изображений
иконика – наука об изображении
УДК 004.932.2
Применение метода восстановления глубины из фокусировки для микроскопических изображений
© 2011 г.
А. Н. Аверкин*; А. С. Потапов**, доктор техн. наук ** Санкт-Петербургский государственный университет информационных технологий, механики ** и оптики, Санкт-Петербург
** НПК “Государственный оптический институт им. С.И. Вавилова”, Санкт-Петербург
** E-mail: ant-averkin@rambler.ru, pas.aicv@gmail.com
Исследован метод построения карты глубины сцены по набору ее микроскопических изображений. Для каждой координаты поля изображения определялся номер слоя, в котором значение дисперсии по окну определенного размера принимает максимальное значение. Предложено выполнять предварительную обработку изображений до этапа вычисления дисперсии, а операцию отделения изображения объекта от фона производить с помощью адаптивного порога по разности максимальной и минимальной дисперсии по всем слоям для каждого пиксела в отдельности. Экспериментальные исследования свидетельствуют о пригодности предложенного метода для построения карт глубины различных микроскопических объектов.
Ключевые слова: глубина фокусировки, микроскопические изображения, дисперсия изображения.
Коды OCIS: 100.5760
Поступила в редакцию 06.06.2011
Введение
Оптическая микроскопия, являясь одной из важнейших техник исследований и наблюдений за сильно увеличенными объектами и структурами материалов, обладает существенным недостатком – в случае наблюдения неплоских объектов получение четких изображений невозможно из-за малой глубины фокуса оптического микроскопа. Для преодоления данной проблемы чаще всего предлагается сформировать последовательность снимков исследуемого объекта, перефокусируя объектив микроскопа на ряде последовательных слоев по глубине. Для построения на основе этой последовательности четкого выходного изо бражения необходимо с помощью некоторого метода объединить области исходных изображений, обладающих достаточной резкостью.
Именно таким способом чаще всего строятся четкие изображения трехмерных микроскопических объектов. Однако во многих случаях только лишь двумерного изображения, пусть и высокой четкости, недостаточно для полу-
чения всей необходимой информации об исследуемом объекте. Только трехмерная модель наблюдаемого объекта или сцены объектов способна дать объективную информацию об их пространственном расположении.
Оптические микроскопы в общем случае используются для значительного увеличения плоских объектов с целью получения их четких изображений. Необходимо отметить, что нередко для лучшего представления структур исследуемых поверхностей на практике применяют различные способы их полировки или шлифовки в зависимости от поставленной задачи. Совершенно очевидно, что в некоторых случаях такая подготовка просто невозможна, так как она может вызвать искажение поверхности и привести к потере важной информации об исследуемых объектах. Тем не менее, очень часто приходится визуализировать мелкие трехмерные объекты. Наиболее распро страненный случай – разнообразные кристаллические структуры, а также органические волокна и ткани, требующие исследований при разработке на их основе новых материалов.
52 “Оптический журнал”, 78, 11, 2011
В данном случае именно информация о трехмерной форме объектов способна обеспечить необходимые знания. Таким образом, задача получения изображений высокого качества и задача построения трехмерных моделей являются основными задачами методов обработки изображений при исследованиях микроскопических объектов, материалов и структур в различных областях практической деятельности человека.
Задача “форма из фокусировки” является давно известной, однако, как правило, приводится ее базовое решение, тогда как на практике возникает множество дополнительных трудностей, требующих решения. В связи с этим, разработка эффективных методов решения данной задачи по-прежнему остается актуальной, в том числе и в микроскопии.
В данной работе рассмотрено решение указанной задачи для микроскопа МЕТАМ РВ-21-2 с учетом необходимости определения областей сцены, находящихся вне диапазона изменения положения фокальной плоскости микроскопа, а также неинформативных областей изображений, для которых дальность определена быть не может.
Существующие методы “формы из фокусировки” в микроскопии
Известно, что идея восстановления карты глубины некоторого объекта не является новой. В работе [1] показано, что изображения, полученные для различных фокусных расстояний, являются источниками информации о глубине сцены. В статье [2] авторы предлагают объединить методы оптической микроскопии и цифровой обработки изображений для автоматической генерации текстурированных 3D-моделей объектов в режиме реального времени. Другие исследователи предлагают использовать методы стереомикроскопии для получения трехмерных моделей [3]. В данной р аботе будет рассматриваться случай получения наборов последовательных изображений исследуемого объекта с постоянным измене нием положения плоскости фокусировки от к адра к кадру на некоторую величину.
Еще один аргумент в пользу использования методов оптической микроскопии был высказан в работе [4], авторы которой предлагают м етод трехмерной реконструкции мик роорганизмов на основе последовательности микроскопических изображений, полученных
в результате изменения условий фокусировки. В частности, исследовались полупрозрачные морские и пресноводные организмы и их влияние на поверхности космических объектов. Авторы статьи [4] предлагают производить оценку морфологических изменений этих организмов в трехмерном пространстве. Стандартный подход для пространственной реконструкции микроорганизмов на основе конфокальной лазерной сканирующей микроскопии [5] оказался не применим для использования в космическом пространстве, так как возможны удары и серьезные перегрузки во время старта космических модулей. Поэтому в работе [4] было решено использовать более надежные световые микроскопы, на основе которых можно организовать трехмерную реконструкцию объектов по набору их микроскопических изображений.
Рассмотрим три основных способа форми рования трехмерных изображений, приведенные в работе [2]. Первым рассматриваемым методом является сканирующая электронная микроскопия (Scanning Electron Microscopy (SEM)). Данная техника позволяет строить сильно увеличенные изображения изучаемых объектов и сохранять их в формате восьми бит цветности для пиксела (полутоновое изобра жение). При этом исследуемые образцы должны быть тщательно подготовлены к помещению в вакуум внутри микроскопа, а также должны быть устойчивы к воздействию э лектрического поля. Это накладывает определенные ограничения на тип исследуемых материалов, для преодоления которых требуется специальная подготовка исследуемых образцов, что зачастую приводит к возникновению дополнительных ошибок и сложностей на этапе анализа и интерпретации результатов. Тем не менее, с помощью сканирующей электронной микроскопии получают очень подробные, сложные и интерактивные 3Dмодели объектов различной сложности. Главным недостатком данного метода, помимо в ысокой стоимости оборудования, является длительное время приготовления образцов. К тому же с помощью такой техники невозможно визуализировать глубинные особенности трещин, наблюдаемых на поверхности, и тем более внутреннюю структуру исследуе мого материала.
Другим важным способом формирования трехмерных изображений, еще более распространенным на практике ввиду относитель-
“Оптический журнал”, 78, 11, 2011
53
ной дешевизны по сравнению с первым рассмотренным методом, является оптическая стереом икроскопия. Оптический стереомикроскоп позволяет наблюдать и измерять объекты в так называемом стерео-режиме. Однако, как отмечают авторы статьи [2], этот эффект носит кратковременный характер и не может быть сохранен в том же качестве за пределами микроскопа. Существует несколько систем для так называемого прямого просмотра 3Dмикроскопии с использованием обычных объективов. Первый метод заключается в использовании подсветки образца с разных сторон. Другим популярным методом формирования трехмерного изображения в режиме реального времени является метод наблюдения за образцом из двух фиксированных точек пространства, разнесенных на определенное расстояние. Для последнего используется специальная система линз в объективе, посредством которой двумерное изображение преобразуется в трехмерное [3].
Последним из рассматриваемых в статье [2] методов исследования мелких трехмерных объектов путем построения их пространственных моделей является оптическая микроскопия. Как было упомянуто выше, малая глубина фокуса оптического микроскопа вызывает эффект, при котором изображение неплоского объекта целиком не может быть четким. Для устранения данного эффекта прибегают к следующей процедуре: формируют набор последовательных микроскопических снимков исследуемого образца путем пошагового сканирования его поверхности при изменении положения фокальной плоскости микрообъектива. Далее следует этап обработки цифрового изображения, на котором выбираются только четкие (резкие, сфокусированные) участки каждого изображения последовательности. Окончательное изображение с высоким качеством зерна (пиксела) получают путем объединения обнаруженных резких участков. После того как такое изображение получено, появляется возможность построения пространственной м одели объекта путем установления глубины сцены в соответствии с величиной перемещения микрообъектива, присвоенного каждому изображению последовательности во время съемки, для пикселов, выбранных на этих и зображениях в ходе предыдущего этапа.
В статье [2] отмечается, что большинство существующих приемов поиска резких участков микроскопических изображений трех-
мерных объектов основаны на моделировании функции распространения точки для конкретной оптической системы и удалении размытых участков, не находящихся в фокусе. К главным ограничениям, накладываемым на использование данной техники, можно отнести, во-первых, необходимость предварительной калибровки оптической системы и, во-вторых, требование к объекту, согласно которому он должен обладать достаточно четко выраженн ыми гранями. Очевидно, что такие ограничения исключают возможность создания универсального метода построения трехмерных моделей различных микроскопических объектов.
Что же касается метода формирования трехмерной модели по набору двумерных изображений, предложенного в работе [2], то его преимуществом является возможность работы с микроскопическими объектами при отсутствии каких-либо предварительных знаний о них. Кроме того, алгоритм, предложенный в статье, выполняется полностью автоматически.
Кроме уже описанных работ, необходимо отметить и работу [6], которая также посвящена проблеме трехмерной реконструкции сцены по набору изображений, различающихся условиями фокусировки, – проблеме “формы из фокусировки” (или Shape From Focus (SFF)). Основное внимание в работе уделено обработке плохотекстурированных областей изображений, а также областям повышенной яркости. Авторы статьи [6] формулируют проблему “формы из фокусировки” в рамках байесовского подхода с использованием случайных полей Маркова и представляют метод SFF, к оторый обеспечивает получение оптимальных трехмерных поверхностей с требуемой “глад костью”.
В работе [6] отмечается, что большинство с уществующих методов решения проблемы SFF работает в условиях неподвижности сцены и ее объектов, а также являются локальными, то есть четкость пикселов определяется по их ближайшему окружению, что, как утверждают авторы, не всегда работает в случае определенной текстуры поверхности объектов. Для улучшения результатов в таких случаях обычно прибегают к расширению окна интереса, но это может привести к потере мелких деталей объектов.
Интересно отметить, что в основу предлагаемой модели авторы [6] закладывают предполо-
54 “Оптический журнал”, 78, 11, 2011
жение о том, что четкость некоторого пиксела есть независимая величина от значения глубины всех других пикселов, статистически зависимы лишь соседние пиксели.
Метод построения карты глубины сцены по серии микроскопических снимков
Идея предлагаемого в данной работе метода не является новой, однако метод обладает некоторыми характерными особенностями, принципиально отличающими его от других. В нашем случае исходно полагается, что на вход системы обработки цифровых изображений подается набор Q, состоящий из N снимков, полученных в результате наблюдения за некоторой сценой микроскопических объектов (или одного объекта) из одной и той же точки пространства, причем объекты сцены также остаются неподвижными. Эти двумерные изображения Iw(x, y) отличаются друг от друга глубиной плоскости фокусировки объектива, которая изменялась от кадра к кадру на некоторую величину (w = 0…N, а x и y – координаты пикселов на изображениях).
На первом этапе работы алгоритма обработки поступивших изображений предложено п рименить к каждому из них в отдельности оператор Собеля с размером маски 3×3 элементов
Gy = êéëêêê-+011
+2 0 -2
-+011úúùúúû * I(x, y),
Gx = êêéêêë+++211
0 0 0
---211úùúúúû * I(x, y).
В результате была сформирована серия изо бражений
Gw = Gx2 + Gy2 .
Следующим этапом обработки изображений, преобразованных на первом шаге, является расчет дисперсии их пикселов с целью обнаружения наиболее резких областей
å åDxy(Gw)
=
1 n2
x+k i=x-k
y+k j=y-k
ëéê (Gw
)ij
- Gwsûúù2 ,
(1)
где Dxy – значение дисперсии пиксела с координатами x, y для изображения Gw, полученного в результате свертки с оператором Собеля;
n2 – площадь области (окна), в которой считается дисперсия для ее центрального элемента; k = (n – 1)/2 – половина размера окна без центрального элемента, Gws – среднее значение элементов изображения Gw, попавших под маску размером n×n, для текущего пиксела.
В работе [2] также предлагается определять дисперсию пикселов для нахождения областей с максимальной резкостью на каждом из имеющихся слоев в отдельности, используя ту же формулу (1), но в отличие от настоящей работы не предлагается выполнять какую-либо пред обработку. Кроме того, слабой стороной формулы (1) является то, что при работе с ней требуется сделать два прохода по изображениям (по локальным областям под маской): один проход для вычисления среднего значения и второй проход для вычисления собственно дисперсии. В результате математических преобразований формулу для расчета дисперсии можно представить в виде
å å ( )Dxy(Gw)
=
çççèçæçç
1 n2
x+k i=x-k
y+k j=y-k
(Gw )ij
2 ÷÷ø÷÷ö÷÷-
å å ( )-çççèçæççn12
x+k y+k i=x-k j=y-k
(Gw )ij
÷ø÷÷÷÷÷ö2.
(2)
Используя формулу (2), можно за один проход накопить как значения пикселов, так и их квадраты. Таким образом, дисперсия пиксела будет равна разнице между средним арифметическим квадратов и квадратом среднего арифметического.
В предлагаемом в настоящей статье методе вычисления среднего по окну используется быстрый алгоритм, суть которого заключается в сокращении числа вычислительных операций за счет независимого выполнения расчетов с использованием одномерных масок вместо того, чтобы на каждом шаге (для каждого нового пикселя) пересчитывать все элементы под квадратной маской n×n. В первую очередь применяется горизонтальная одномерная маска размером 1×n, а после этого для получившегося изображения применяется вертикальная одномерная маска размером n×1. На каждом шаге при перемещении маски на один элемент не происходит перерасчет всех ее элементов заново, а используется информация, сохра ненная на предыдущем шаге. Значения под м аской подвергаются лишь незначительным и зменениям – на каждом новом шаге добав-
“Оптический журнал”, 78, 11, 2011
55
ляется только один новый элемент и, соответственно, только один элемент удаляется из-под маски. С учетом всех этих особенностей появляется возможность добиться значительного повышения скорости алгоритма расчета дисперсии.
После того, как для каждого слоя попиксельно рассчитаны значения дисперсии, в настоящей работе предлагается перейти к этапу построения изображения высокой четкости, то есть происходит компенсация основного ограничения оптической микроскопии – малой глубины резкости микрообъектива. Данная операция осуществляется следующим образом. Происходит перебор всех координат пикселов по полю изображения и на каждом шаге для пиксела с текущими значениями координат рассматриваются значения дисперсии, которые принимает этот пиксел в зависимости от того, какому слою он принадлежит. Определяются максимальное и минимальное значения дисперсии. Минимальное значение будет использовано на следующем шаге, а для максимального значения сохраняется номер слоя, в котором пиксел с текущими координатами принимает максимальное значение дисперсии. В результате такой обработки всех имеющихся слоев, представленных в виде микроскопических изображений, полученных для различных условий фокусировки объектива, появляется возможность сформировать изображение высокой четкости путем объединения различных областей, обнаруженных в разных слоях и обладающих максимальной резкостью.
По результатам построения двумерного изображения высокой четкости необходимо выполнить операцию автоматического отделения области объекта от области фона, так как именно фон оказывает наибольшее негативное влияние при построении трехмерных моделей различных объектов. В работе [2] для этих целей используется операция бинаризации п олутонового изображения по некоторому порогу, задаваемому вручную в предлагаемой авторами программной оболочке. После бинаризации изображения высокой четкости требуется выполнить операцию уничтожения всех обнаруженных областей, размер которых не превышает некоторого порога. Однако это накладывает определенные ограничения на форму исследуемых объектов.
В настоящей работе предложен новый метод автоматического определения порога для от-
деления изображения объекта от изображения фона. В качестве порогового значения была использована разность максимальной и минимальной дисперсии для пиксела с определен ными координатами по всем слоям. Как уже было сказано, на предыдущем шаге работы алгоритма сохраняются значения максимальной и минимальной дисперсии для каждой координаты изображения высокой четкости. Разность этих значений для всех пикселов изображений учитывается в общей статистике, согласно которой для фона и для объекта эти разности в среднем являются разными величинами. Путем определения между ними порога можно с необходимой точностью разделить все поле изображения на две непересекающиеся области объекта и фона.
Следующий шаг работы алгоритма направлен на построение самой карты глубины сцены на основе информации, полученной на предыдущих этапах. На этом шаге используется построенное изображение высокой четкости, а точнее та его часть, которая относится к области объекта, а также информация для каждого пиксела о номере слоя, в котором для этих пикселов было обнаружено максимальное значение дисперсии среди всех слоев. Путем использования для каждого пиксела значений о номере слоя, поставленного ему в соответствие, можно построить полутоновое изображение, количество градаций которого будет зависеть от использованного количества слоев, а также от зарегистрированной на них информации. В случае сильно расфокусированного поля изображения некоторого слоя, он, скорее всего, будет исключен из рассмотрения на этапе построения изображения высокой четкости, так как для такого слоя не будет найдено ни одного пиксела, обладающего максимальным значением дисперсии относительно остальных слоев. Таким образом, количество градаций полутонового изображения карты глубины может сократиться.
Таким способом в настоящей работе предложено строить карту глубины наблюдаемой сцены. Степень точности этой карты и ее подробности будут зависеть, во-первых, от шага по значениям глубины перефокусировки микрообъектива, а, во-вторых, от количества слоев, полученных для исследования данного объекта. Далее будут приведены экспериментальные результаты разработанного метода быстрого построения карты глубины сцены по серии микроскопических снимков.
56 “Оптический журнал”, 78, 11, 2011
Рис. 1. Микроскопические изображения объекта, полученные при разных положениях фокальной плоскости микрообъектива.
Экспериментальные результаты
В предыдущей части был подробно рассмотрен алгоритм предложенного метода быстрого построения карты глубины сцены по серии микроскопических снимков. Было отмечено, что на первом шаге данного метода программе передается набор Q микроскопических изо бражений объектов I(x, y) (рис. 1), отличающихся друг от друга величиной перефокусировки оптической системы микроскопа, которое изменялось от шага к шагу на некоторое значение. На рис. 1 представлено каждое второе изображение из набора Q.
Как видно из рис. 1, входные изображения искажены различными дефектами объектива (царапинами, пылинками), а также шумами фона, что является подтверждением необходимости предложенного в настоящей работе этапа предварительной обработки исходных изображений с использованием оператора Собеля. Далее следует этап расчета дисперсии пикселов
каждого слоя с целью обнаружения в нем наиболее резких областей. После этого выполняется объединение обнаруженных областей максимальной дисперсии по слоям и формируется изображение высокой четкости (рис. 2). Далее
Рис. 2. Микроскопическое изображение объекта, обладающее высокой четкостью.
“Оптический журнал”, 78, 11, 2011
57
ние пикселов по слоям, сформированным при различных положениях фокальной плоскости объектива микроскопа. Это свидетельствует о пригодности предложенного метода для построения карт глубины различных микроскопических объектов.
Заключение
Рис. 3. Результат выполнения операции отделения изображения объекта от изображения фона.
Рис. 4. Карта глубины наблюдаемой сцены объектов.
была произведена операция отделения изображения объекта от изображения фона (рис. 3). В данном случае объект представлен черным цветом, а фон – белым для наглядности.
После того как объект был отделен от фона, формируется карта глубины исследуемой сцены (рис. 4).
Из рис. 1 и 4 видно, что построенная карта глубины адекватно отражает распределе-
В работе предложен метод построения карты глубины сцены микроскопических объектов путем установления для каждой координаты поля изображения номера слоя, в котором окно с соответствующим центром я вляется наиболее резким. Каждый слой в наборе данных был исходно представлен в виде микроскопич еского изображения некоторого объекта или сцены. Все слои сформированы в результате последовательного изменения положения фокальной плоскости объектива оптического микроскопа с некоторым шагом. Степень резкости пикселов поля изображения полностью сфокусированной сцены определялась в два этапа. На первом этапе в каждом слое (изображении) для каждого пиксела осуществлялся подсчет значения его дисперсии в некоторой локальной области квадратной формы. На втором этапе для каждого пиксела с определенными координатами по полю изображения осуществлялся поиск номера слоя, в котором пиксел с данными координатами обладает максимальным значением дисперсии. Характерной особенностью предложенного метода является способ отделения изображения объекта от фона путем установления адаптивного порога на з начение разности максимальной и мини мальной дисперсии по всем слоям для каждого пиксела в отдельности. Кроме того, был реализован быстрый алгоритм вычисления дисперсии в квадратном окне по полю изо бражения, а также предложено выполнять о перацию предобработки исходных изображений для повышения надежности определения истинного слоя.
Работа выполнена при финансовой под держке Министерства образования и науки Российской Федерации.
* * * * *
Литература
1. Pentland A.P. Depth of Scene from Depth of Field // Proceedings of the Image Understanding Workshop. 1982. P. 253–259.
58 “Оптический журнал”, 78, 11, 2011
2. Niederoest M., Niederoest J., Skucka J. Automatic 3D reconstruction and visualization of microscopic objects from a monoscopic multifocus image sequence // Eidgenössische Technische Hochschule (ETH) Zürich. Institute of Geodesy and Photogrammetry. 2003.
3. Greenberg G.L., Boyde A. Direct View 3-D Microscopy Using Conventional Lenses // European Microscopy and Analysis. 1997. P. 5–7.
4. Schmitz D., Seibt D., Herpers R., Heiden W. 3D-Reconstruction of Microscopic Translucent Silicate-based Marine and Freshwater-Organisms // Aktuelle Methoden der Laser- und Medizinphysik: Tagungsband der 2. Remagener Physiktage. 2004. P. 43–48.
5. Packroff G., Lawrence J.R., Neu T.R. In Situ Confocal Laser Scanning Microscopy of Protozoans in Cultures and Complex Biofilm Communities // Acta Protozool. (2002). V. 41. P. 245–253.
6. Gaganov V., Ignatenko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. 2009. P. 74–80.
“Оптический журнал”, 78, 11, 2011
59
УДК 004.932.2
Применение метода восстановления глубины из фокусировки для микроскопических изображений
© 2011 г.
А. Н. Аверкин*; А. С. Потапов**, доктор техн. наук ** Санкт-Петербургский государственный университет информационных технологий, механики ** и оптики, Санкт-Петербург
** НПК “Государственный оптический институт им. С.И. Вавилова”, Санкт-Петербург
** E-mail: ant-averkin@rambler.ru, pas.aicv@gmail.com
Исследован метод построения карты глубины сцены по набору ее микроскопических изображений. Для каждой координаты поля изображения определялся номер слоя, в котором значение дисперсии по окну определенного размера принимает максимальное значение. Предложено выполнять предварительную обработку изображений до этапа вычисления дисперсии, а операцию отделения изображения объекта от фона производить с помощью адаптивного порога по разности максимальной и минимальной дисперсии по всем слоям для каждого пиксела в отдельности. Экспериментальные исследования свидетельствуют о пригодности предложенного метода для построения карт глубины различных микроскопических объектов.
Ключевые слова: глубина фокусировки, микроскопические изображения, дисперсия изображения.
Коды OCIS: 100.5760
Поступила в редакцию 06.06.2011
Введение
Оптическая микроскопия, являясь одной из важнейших техник исследований и наблюдений за сильно увеличенными объектами и структурами материалов, обладает существенным недостатком – в случае наблюдения неплоских объектов получение четких изображений невозможно из-за малой глубины фокуса оптического микроскопа. Для преодоления данной проблемы чаще всего предлагается сформировать последовательность снимков исследуемого объекта, перефокусируя объектив микроскопа на ряде последовательных слоев по глубине. Для построения на основе этой последовательности четкого выходного изо бражения необходимо с помощью некоторого метода объединить области исходных изображений, обладающих достаточной резкостью.
Именно таким способом чаще всего строятся четкие изображения трехмерных микроскопических объектов. Однако во многих случаях только лишь двумерного изображения, пусть и высокой четкости, недостаточно для полу-
чения всей необходимой информации об исследуемом объекте. Только трехмерная модель наблюдаемого объекта или сцены объектов способна дать объективную информацию об их пространственном расположении.
Оптические микроскопы в общем случае используются для значительного увеличения плоских объектов с целью получения их четких изображений. Необходимо отметить, что нередко для лучшего представления структур исследуемых поверхностей на практике применяют различные способы их полировки или шлифовки в зависимости от поставленной задачи. Совершенно очевидно, что в некоторых случаях такая подготовка просто невозможна, так как она может вызвать искажение поверхности и привести к потере важной информации об исследуемых объектах. Тем не менее, очень часто приходится визуализировать мелкие трехмерные объекты. Наиболее распро страненный случай – разнообразные кристаллические структуры, а также органические волокна и ткани, требующие исследований при разработке на их основе новых материалов.
52 “Оптический журнал”, 78, 11, 2011
В данном случае именно информация о трехмерной форме объектов способна обеспечить необходимые знания. Таким образом, задача получения изображений высокого качества и задача построения трехмерных моделей являются основными задачами методов обработки изображений при исследованиях микроскопических объектов, материалов и структур в различных областях практической деятельности человека.
Задача “форма из фокусировки” является давно известной, однако, как правило, приводится ее базовое решение, тогда как на практике возникает множество дополнительных трудностей, требующих решения. В связи с этим, разработка эффективных методов решения данной задачи по-прежнему остается актуальной, в том числе и в микроскопии.
В данной работе рассмотрено решение указанной задачи для микроскопа МЕТАМ РВ-21-2 с учетом необходимости определения областей сцены, находящихся вне диапазона изменения положения фокальной плоскости микроскопа, а также неинформативных областей изображений, для которых дальность определена быть не может.
Существующие методы “формы из фокусировки” в микроскопии
Известно, что идея восстановления карты глубины некоторого объекта не является новой. В работе [1] показано, что изображения, полученные для различных фокусных расстояний, являются источниками информации о глубине сцены. В статье [2] авторы предлагают объединить методы оптической микроскопии и цифровой обработки изображений для автоматической генерации текстурированных 3D-моделей объектов в режиме реального времени. Другие исследователи предлагают использовать методы стереомикроскопии для получения трехмерных моделей [3]. В данной р аботе будет рассматриваться случай получения наборов последовательных изображений исследуемого объекта с постоянным измене нием положения плоскости фокусировки от к адра к кадру на некоторую величину.
Еще один аргумент в пользу использования методов оптической микроскопии был высказан в работе [4], авторы которой предлагают м етод трехмерной реконструкции мик роорганизмов на основе последовательности микроскопических изображений, полученных
в результате изменения условий фокусировки. В частности, исследовались полупрозрачные морские и пресноводные организмы и их влияние на поверхности космических объектов. Авторы статьи [4] предлагают производить оценку морфологических изменений этих организмов в трехмерном пространстве. Стандартный подход для пространственной реконструкции микроорганизмов на основе конфокальной лазерной сканирующей микроскопии [5] оказался не применим для использования в космическом пространстве, так как возможны удары и серьезные перегрузки во время старта космических модулей. Поэтому в работе [4] было решено использовать более надежные световые микроскопы, на основе которых можно организовать трехмерную реконструкцию объектов по набору их микроскопических изображений.
Рассмотрим три основных способа форми рования трехмерных изображений, приведенные в работе [2]. Первым рассматриваемым методом является сканирующая электронная микроскопия (Scanning Electron Microscopy (SEM)). Данная техника позволяет строить сильно увеличенные изображения изучаемых объектов и сохранять их в формате восьми бит цветности для пиксела (полутоновое изобра жение). При этом исследуемые образцы должны быть тщательно подготовлены к помещению в вакуум внутри микроскопа, а также должны быть устойчивы к воздействию э лектрического поля. Это накладывает определенные ограничения на тип исследуемых материалов, для преодоления которых требуется специальная подготовка исследуемых образцов, что зачастую приводит к возникновению дополнительных ошибок и сложностей на этапе анализа и интерпретации результатов. Тем не менее, с помощью сканирующей электронной микроскопии получают очень подробные, сложные и интерактивные 3Dмодели объектов различной сложности. Главным недостатком данного метода, помимо в ысокой стоимости оборудования, является длительное время приготовления образцов. К тому же с помощью такой техники невозможно визуализировать глубинные особенности трещин, наблюдаемых на поверхности, и тем более внутреннюю структуру исследуе мого материала.
Другим важным способом формирования трехмерных изображений, еще более распространенным на практике ввиду относитель-
“Оптический журнал”, 78, 11, 2011
53
ной дешевизны по сравнению с первым рассмотренным методом, является оптическая стереом икроскопия. Оптический стереомикроскоп позволяет наблюдать и измерять объекты в так называемом стерео-режиме. Однако, как отмечают авторы статьи [2], этот эффект носит кратковременный характер и не может быть сохранен в том же качестве за пределами микроскопа. Существует несколько систем для так называемого прямого просмотра 3Dмикроскопии с использованием обычных объективов. Первый метод заключается в использовании подсветки образца с разных сторон. Другим популярным методом формирования трехмерного изображения в режиме реального времени является метод наблюдения за образцом из двух фиксированных точек пространства, разнесенных на определенное расстояние. Для последнего используется специальная система линз в объективе, посредством которой двумерное изображение преобразуется в трехмерное [3].
Последним из рассматриваемых в статье [2] методов исследования мелких трехмерных объектов путем построения их пространственных моделей является оптическая микроскопия. Как было упомянуто выше, малая глубина фокуса оптического микроскопа вызывает эффект, при котором изображение неплоского объекта целиком не может быть четким. Для устранения данного эффекта прибегают к следующей процедуре: формируют набор последовательных микроскопических снимков исследуемого образца путем пошагового сканирования его поверхности при изменении положения фокальной плоскости микрообъектива. Далее следует этап обработки цифрового изображения, на котором выбираются только четкие (резкие, сфокусированные) участки каждого изображения последовательности. Окончательное изображение с высоким качеством зерна (пиксела) получают путем объединения обнаруженных резких участков. После того как такое изображение получено, появляется возможность построения пространственной м одели объекта путем установления глубины сцены в соответствии с величиной перемещения микрообъектива, присвоенного каждому изображению последовательности во время съемки, для пикселов, выбранных на этих и зображениях в ходе предыдущего этапа.
В статье [2] отмечается, что большинство существующих приемов поиска резких участков микроскопических изображений трех-
мерных объектов основаны на моделировании функции распространения точки для конкретной оптической системы и удалении размытых участков, не находящихся в фокусе. К главным ограничениям, накладываемым на использование данной техники, можно отнести, во-первых, необходимость предварительной калибровки оптической системы и, во-вторых, требование к объекту, согласно которому он должен обладать достаточно четко выраженн ыми гранями. Очевидно, что такие ограничения исключают возможность создания универсального метода построения трехмерных моделей различных микроскопических объектов.
Что же касается метода формирования трехмерной модели по набору двумерных изображений, предложенного в работе [2], то его преимуществом является возможность работы с микроскопическими объектами при отсутствии каких-либо предварительных знаний о них. Кроме того, алгоритм, предложенный в статье, выполняется полностью автоматически.
Кроме уже описанных работ, необходимо отметить и работу [6], которая также посвящена проблеме трехмерной реконструкции сцены по набору изображений, различающихся условиями фокусировки, – проблеме “формы из фокусировки” (или Shape From Focus (SFF)). Основное внимание в работе уделено обработке плохотекстурированных областей изображений, а также областям повышенной яркости. Авторы статьи [6] формулируют проблему “формы из фокусировки” в рамках байесовского подхода с использованием случайных полей Маркова и представляют метод SFF, к оторый обеспечивает получение оптимальных трехмерных поверхностей с требуемой “глад костью”.
В работе [6] отмечается, что большинство с уществующих методов решения проблемы SFF работает в условиях неподвижности сцены и ее объектов, а также являются локальными, то есть четкость пикселов определяется по их ближайшему окружению, что, как утверждают авторы, не всегда работает в случае определенной текстуры поверхности объектов. Для улучшения результатов в таких случаях обычно прибегают к расширению окна интереса, но это может привести к потере мелких деталей объектов.
Интересно отметить, что в основу предлагаемой модели авторы [6] закладывают предполо-
54 “Оптический журнал”, 78, 11, 2011
жение о том, что четкость некоторого пиксела есть независимая величина от значения глубины всех других пикселов, статистически зависимы лишь соседние пиксели.
Метод построения карты глубины сцены по серии микроскопических снимков
Идея предлагаемого в данной работе метода не является новой, однако метод обладает некоторыми характерными особенностями, принципиально отличающими его от других. В нашем случае исходно полагается, что на вход системы обработки цифровых изображений подается набор Q, состоящий из N снимков, полученных в результате наблюдения за некоторой сценой микроскопических объектов (или одного объекта) из одной и той же точки пространства, причем объекты сцены также остаются неподвижными. Эти двумерные изображения Iw(x, y) отличаются друг от друга глубиной плоскости фокусировки объектива, которая изменялась от кадра к кадру на некоторую величину (w = 0…N, а x и y – координаты пикселов на изображениях).
На первом этапе работы алгоритма обработки поступивших изображений предложено п рименить к каждому из них в отдельности оператор Собеля с размером маски 3×3 элементов
Gy = êéëêêê-+011
+2 0 -2
-+011úúùúúû * I(x, y),
Gx = êêéêêë+++211
0 0 0
---211úùúúúû * I(x, y).
В результате была сформирована серия изо бражений
Gw = Gx2 + Gy2 .
Следующим этапом обработки изображений, преобразованных на первом шаге, является расчет дисперсии их пикселов с целью обнаружения наиболее резких областей
å åDxy(Gw)
=
1 n2
x+k i=x-k
y+k j=y-k
ëéê (Gw
)ij
- Gwsûúù2 ,
(1)
где Dxy – значение дисперсии пиксела с координатами x, y для изображения Gw, полученного в результате свертки с оператором Собеля;
n2 – площадь области (окна), в которой считается дисперсия для ее центрального элемента; k = (n – 1)/2 – половина размера окна без центрального элемента, Gws – среднее значение элементов изображения Gw, попавших под маску размером n×n, для текущего пиксела.
В работе [2] также предлагается определять дисперсию пикселов для нахождения областей с максимальной резкостью на каждом из имеющихся слоев в отдельности, используя ту же формулу (1), но в отличие от настоящей работы не предлагается выполнять какую-либо пред обработку. Кроме того, слабой стороной формулы (1) является то, что при работе с ней требуется сделать два прохода по изображениям (по локальным областям под маской): один проход для вычисления среднего значения и второй проход для вычисления собственно дисперсии. В результате математических преобразований формулу для расчета дисперсии можно представить в виде
å å ( )Dxy(Gw)
=
çççèçæçç
1 n2
x+k i=x-k
y+k j=y-k
(Gw )ij
2 ÷÷ø÷÷ö÷÷-
å å ( )-çççèçæççn12
x+k y+k i=x-k j=y-k
(Gw )ij
÷ø÷÷÷÷÷ö2.
(2)
Используя формулу (2), можно за один проход накопить как значения пикселов, так и их квадраты. Таким образом, дисперсия пиксела будет равна разнице между средним арифметическим квадратов и квадратом среднего арифметического.
В предлагаемом в настоящей статье методе вычисления среднего по окну используется быстрый алгоритм, суть которого заключается в сокращении числа вычислительных операций за счет независимого выполнения расчетов с использованием одномерных масок вместо того, чтобы на каждом шаге (для каждого нового пикселя) пересчитывать все элементы под квадратной маской n×n. В первую очередь применяется горизонтальная одномерная маска размером 1×n, а после этого для получившегося изображения применяется вертикальная одномерная маска размером n×1. На каждом шаге при перемещении маски на один элемент не происходит перерасчет всех ее элементов заново, а используется информация, сохра ненная на предыдущем шаге. Значения под м аской подвергаются лишь незначительным и зменениям – на каждом новом шаге добав-
“Оптический журнал”, 78, 11, 2011
55
ляется только один новый элемент и, соответственно, только один элемент удаляется из-под маски. С учетом всех этих особенностей появляется возможность добиться значительного повышения скорости алгоритма расчета дисперсии.
После того, как для каждого слоя попиксельно рассчитаны значения дисперсии, в настоящей работе предлагается перейти к этапу построения изображения высокой четкости, то есть происходит компенсация основного ограничения оптической микроскопии – малой глубины резкости микрообъектива. Данная операция осуществляется следующим образом. Происходит перебор всех координат пикселов по полю изображения и на каждом шаге для пиксела с текущими значениями координат рассматриваются значения дисперсии, которые принимает этот пиксел в зависимости от того, какому слою он принадлежит. Определяются максимальное и минимальное значения дисперсии. Минимальное значение будет использовано на следующем шаге, а для максимального значения сохраняется номер слоя, в котором пиксел с текущими координатами принимает максимальное значение дисперсии. В результате такой обработки всех имеющихся слоев, представленных в виде микроскопических изображений, полученных для различных условий фокусировки объектива, появляется возможность сформировать изображение высокой четкости путем объединения различных областей, обнаруженных в разных слоях и обладающих максимальной резкостью.
По результатам построения двумерного изображения высокой четкости необходимо выполнить операцию автоматического отделения области объекта от области фона, так как именно фон оказывает наибольшее негативное влияние при построении трехмерных моделей различных объектов. В работе [2] для этих целей используется операция бинаризации п олутонового изображения по некоторому порогу, задаваемому вручную в предлагаемой авторами программной оболочке. После бинаризации изображения высокой четкости требуется выполнить операцию уничтожения всех обнаруженных областей, размер которых не превышает некоторого порога. Однако это накладывает определенные ограничения на форму исследуемых объектов.
В настоящей работе предложен новый метод автоматического определения порога для от-
деления изображения объекта от изображения фона. В качестве порогового значения была использована разность максимальной и минимальной дисперсии для пиксела с определен ными координатами по всем слоям. Как уже было сказано, на предыдущем шаге работы алгоритма сохраняются значения максимальной и минимальной дисперсии для каждой координаты изображения высокой четкости. Разность этих значений для всех пикселов изображений учитывается в общей статистике, согласно которой для фона и для объекта эти разности в среднем являются разными величинами. Путем определения между ними порога можно с необходимой точностью разделить все поле изображения на две непересекающиеся области объекта и фона.
Следующий шаг работы алгоритма направлен на построение самой карты глубины сцены на основе информации, полученной на предыдущих этапах. На этом шаге используется построенное изображение высокой четкости, а точнее та его часть, которая относится к области объекта, а также информация для каждого пиксела о номере слоя, в котором для этих пикселов было обнаружено максимальное значение дисперсии среди всех слоев. Путем использования для каждого пиксела значений о номере слоя, поставленного ему в соответствие, можно построить полутоновое изображение, количество градаций которого будет зависеть от использованного количества слоев, а также от зарегистрированной на них информации. В случае сильно расфокусированного поля изображения некоторого слоя, он, скорее всего, будет исключен из рассмотрения на этапе построения изображения высокой четкости, так как для такого слоя не будет найдено ни одного пиксела, обладающего максимальным значением дисперсии относительно остальных слоев. Таким образом, количество градаций полутонового изображения карты глубины может сократиться.
Таким способом в настоящей работе предложено строить карту глубины наблюдаемой сцены. Степень точности этой карты и ее подробности будут зависеть, во-первых, от шага по значениям глубины перефокусировки микрообъектива, а, во-вторых, от количества слоев, полученных для исследования данного объекта. Далее будут приведены экспериментальные результаты разработанного метода быстрого построения карты глубины сцены по серии микроскопических снимков.
56 “Оптический журнал”, 78, 11, 2011
Рис. 1. Микроскопические изображения объекта, полученные при разных положениях фокальной плоскости микрообъектива.
Экспериментальные результаты
В предыдущей части был подробно рассмотрен алгоритм предложенного метода быстрого построения карты глубины сцены по серии микроскопических снимков. Было отмечено, что на первом шаге данного метода программе передается набор Q микроскопических изо бражений объектов I(x, y) (рис. 1), отличающихся друг от друга величиной перефокусировки оптической системы микроскопа, которое изменялось от шага к шагу на некоторое значение. На рис. 1 представлено каждое второе изображение из набора Q.
Как видно из рис. 1, входные изображения искажены различными дефектами объектива (царапинами, пылинками), а также шумами фона, что является подтверждением необходимости предложенного в настоящей работе этапа предварительной обработки исходных изображений с использованием оператора Собеля. Далее следует этап расчета дисперсии пикселов
каждого слоя с целью обнаружения в нем наиболее резких областей. После этого выполняется объединение обнаруженных областей максимальной дисперсии по слоям и формируется изображение высокой четкости (рис. 2). Далее
Рис. 2. Микроскопическое изображение объекта, обладающее высокой четкостью.
“Оптический журнал”, 78, 11, 2011
57
ние пикселов по слоям, сформированным при различных положениях фокальной плоскости объектива микроскопа. Это свидетельствует о пригодности предложенного метода для построения карт глубины различных микроскопических объектов.
Заключение
Рис. 3. Результат выполнения операции отделения изображения объекта от изображения фона.
Рис. 4. Карта глубины наблюдаемой сцены объектов.
была произведена операция отделения изображения объекта от изображения фона (рис. 3). В данном случае объект представлен черным цветом, а фон – белым для наглядности.
После того как объект был отделен от фона, формируется карта глубины исследуемой сцены (рис. 4).
Из рис. 1 и 4 видно, что построенная карта глубины адекватно отражает распределе-
В работе предложен метод построения карты глубины сцены микроскопических объектов путем установления для каждой координаты поля изображения номера слоя, в котором окно с соответствующим центром я вляется наиболее резким. Каждый слой в наборе данных был исходно представлен в виде микроскопич еского изображения некоторого объекта или сцены. Все слои сформированы в результате последовательного изменения положения фокальной плоскости объектива оптического микроскопа с некоторым шагом. Степень резкости пикселов поля изображения полностью сфокусированной сцены определялась в два этапа. На первом этапе в каждом слое (изображении) для каждого пиксела осуществлялся подсчет значения его дисперсии в некоторой локальной области квадратной формы. На втором этапе для каждого пиксела с определенными координатами по полю изображения осуществлялся поиск номера слоя, в котором пиксел с данными координатами обладает максимальным значением дисперсии. Характерной особенностью предложенного метода является способ отделения изображения объекта от фона путем установления адаптивного порога на з начение разности максимальной и мини мальной дисперсии по всем слоям для каждого пиксела в отдельности. Кроме того, был реализован быстрый алгоритм вычисления дисперсии в квадратном окне по полю изо бражения, а также предложено выполнять о перацию предобработки исходных изображений для повышения надежности определения истинного слоя.
Работа выполнена при финансовой под держке Министерства образования и науки Российской Федерации.
* * * * *
Литература
1. Pentland A.P. Depth of Scene from Depth of Field // Proceedings of the Image Understanding Workshop. 1982. P. 253–259.
58 “Оптический журнал”, 78, 11, 2011
2. Niederoest M., Niederoest J., Skucka J. Automatic 3D reconstruction and visualization of microscopic objects from a monoscopic multifocus image sequence // Eidgenössische Technische Hochschule (ETH) Zürich. Institute of Geodesy and Photogrammetry. 2003.
3. Greenberg G.L., Boyde A. Direct View 3-D Microscopy Using Conventional Lenses // European Microscopy and Analysis. 1997. P. 5–7.
4. Schmitz D., Seibt D., Herpers R., Heiden W. 3D-Reconstruction of Microscopic Translucent Silicate-based Marine and Freshwater-Organisms // Aktuelle Methoden der Laser- und Medizinphysik: Tagungsband der 2. Remagener Physiktage. 2004. P. 43–48.
5. Packroff G., Lawrence J.R., Neu T.R. In Situ Confocal Laser Scanning Microscopy of Protozoans in Cultures and Complex Biofilm Communities // Acta Protozool. (2002). V. 41. P. 245–253.
6. Gaganov V., Ignatenko A. Robust Shape from Focus via Markov Random Fields // Proceedings of Graphicon Conference. 2009. P. 74–80.
“Оптический журнал”, 78, 11, 2011
59