ОПТИМИЗАЦИЯ АЛГОРИТМОВ АВТОФОКУСИРОВКИ ЦИФРОВОГО МИКРОСКОПА
УДК 681.723
ОПТИМИЗАЦИЯ АЛГОРИТМОВ АВТОФОКУСИРОВКИ ЦИФРОВОГО МИКРОСКОПА
© 2009 г. В. В. Беззубик*; Н. Р. Белашенков**, канд. физ.-мат. наук; С. Н. Устинов* ** Санкт-Петербургский государственный университет информационных технологий, ** механики и оптики, Санкт-Петербург ** ОАО “ЛОМО”, Санкт-Петербург
** E-mail: belashenkov@gmail.com
Предложен оптимальный алгоритм поиска положения наилучшей фокусировки в микроскопе с цифровым выводом изображения, и выработаны рекомендации к построению системы автоматической фокусировки при сканировании образца.
Ключевые слова: цифровые микроскопы, обработка изображения, алгоритмы автофокусировки.
Коды OCIS: 100.2960, 110.0180.
Поступила в редакцию 10.04.2009.
Введение
Системы автоматической фокусировки, широко применяемые в настоящее время в микроскопах, можно условно разделить на две категории: системы, контролирующие расстояние от объектива микроскопа до объекта исследования, и системы, в которых в режиме реального времени проводится анализ получаемого изображения и вырабатывается стратегия изменения положения фокуса.
В свою очередь системы первого типа подразделяются по способам реализации контроля расстояния на пассивные и активные. В пассивных системах для контроля расстояния между объектом и объективом микроскопа обычно используют интерференцию света (как правило, инфракрасного диапазона). По интерференционной картине принимают решение о взаимном расположении объекта наблюдения и объектива. В некоторых пассивных системах используют специальную подсветку, когда на объект наблюдения проецируют контрастную сетку и по ее контрасту специальное устройство принимает решение о качестве фокусировки и при необходимости изменяет ее.
В активных системах автофокусировки используют ультразвуковые излучатели и датчики либо лазерные источники, излучение которых направляют на объект и по характеристикам отраженного сигнала судят о расстоянии до него.
При использовании лазеров система автофокусировки должна включать отдельную оптическую систему, которая фокусирует лазерный луч на предметное стекло, а оптический датчик анализирует размер сфокусированного пятна. В случае изменения размера пятна контроллер принимает решение об изменении взаимного расположения объекта исследования и объектива микроскопа.
Существуют системы определения положения фокуса, действующие по принципу “светового сечения” (микроскоп LAF AMC фирмы “Leitz”). При реализации данного способа специальная оптическая система с достаточной глубиной резкости проецирует в плоскость предмета под углом к оптической оси объектива лазерное пятно, изображение которого этим объективом проецируется на приемную площадку фотоэлектронного приемника (например видикона). Положение изображения лазерного пятна на приемнике непосредственно связано с дистанцией между объективом и плоскостью предмета. При изменении расстояния между объективом и предметом изображение лазерного пятна перемещается. Предварительно настроив систему на резкость, оператор в последующем может вручную или автоматически с высокой точностью определять положение предмета относительно объектива в вертикальном направлении, обеспечивая наилучшее качество изображения.
Системы активной автофокусировки требуют сложных аппаратных средств и точной калибров-
16 “Оптический журнал”, 76, 10, 2009
ки. На приборах, использующих системы данного типа, невозможно без специальной калибровки исследовать произвольные объекты (препараты). Кроме того, такие системы не способны работать с объектами большой толщины, так как не обеспечивают фокусировку на заданную глубину.
К системам второй категории, т. е. тем, в которых в режиме реального времени проводится анализ получаемого изображения, в последнее время проявляется большой интерес. Это обусловлено тем, что непрерывно возрастающая производительность процессоров, участвующих в обработке изображения, и одновременная тенденция снижения их стоимости делают эти системы удобным инструментом достижения поставленных целей автофокусировки наиболее простым образом.
В свою очередь эти системы также можно разделить на два типа: аппаратные, использующие одномерные аппаратные фильтры для выделения высокочастотного компонента изображения, и программные, использующие программную обработку на основе разнообразных вычислительных алгоритмов.
Системы аппаратной фильтрации обладают высоким быстродействием, однако они не работают на многих видах изображений. Программные системы, напротив, имеют худшее быстродействие, но позволяют проводить фокусировку на большинстве видов изображений. Существующие программные системы автоматической фокусировки встроены в специализированные системы обработки изображений. Системы автофокусировки на базе процессоров нового поколения непосредственным образом имитируют работу зрительного аппарата человека, а производительные и устойчивые алгоритмы поиска оптимального фокуса вплотную приближаются к алгоритмам принятия решения оператором, исходящим из чувственного восприятия разнообразных зрительных образов в широком диапазоне освещенностей, контраста и цветовой гаммы изображений.
Несмотря на большое количество публикаций, посвященных исследованиям различных аспектов построения и функционирования систем автоматической фокусировки в микроскопах, ряд важных вопросов требуют дополнительного изучения. В настоящей работе рассмотрены вопросы оптимизации алгоритмов работы программно-аппаратного комплекса автофокусировки цифрового микроскопа, выполненного на основе анализа изображения микрообъекта,
получаемого с помощью фотоэлектронного приемника.
Постановка задачи
При создании системы автоматической фокусировки микроскопа, в основу которой положен принцип анализа цифровых данных, получаемых с выхода фотоэлектронного приемника изображения, необходимо принимать во внимание два не зависимых друг от друга этапа программной обработки этих данных. Вопервых, нужно выбрать метод критериальной оценки наилучшего, с точки зрения резкости, наблюдаемого изображения. Во-вторых, следует определить способ определения положения наилучшей фокусировки при условии непрерывного изменения изображения, например, при сканировании предметного столика в плоскости, перпендикулярной оси объектива. Выбор критерия оценки определяет достоверность (соответствие положения наилучшей фокусировки наблюдаемому изображению с наименьшей размытостью границ наибольшего числа фрагментов изображения) и точность установки предмета наблюдения относительно объектива микроскопа. Очевидно, что оба указанных показателя существенным образом зависят как от объективных условий наблюдения (например, толщина образца и контраст фрагментов изображения относительно фона), так и от субъективных факторов оценки контраста по тем или иным критериям. Выбор способа определения положения наилучшей фокусировки при сканировании предмета определяет скорость отрабатывания системой автофокусировки тех изменений, которые вносятся в процесс наблюдения сканирующей системой или оператором, и, следовательно, определяет производительность процесса автофокусировки. Важным фактором в данном случае является задание исходных данных для поиска. В качестве таких данных выступают исходное значение шага поиска и выбор критерия, по которому поиск инициируется.
Построение расфокусировочной кривой
В результате анализа особенностей построения и функционирования известных алгоритмов определения положения наилучшей фокусировки в микроскопах, достаточно полно представленных в работах [1, 2], установлено, что наиболее продуктивными являются два из них, а именно алгоритм, основанный на применении
“Оптический журнал”, 76, 10, 2009
17
вторых производных (здесь и далее метод Лапласа) [1], и алгоритм, основанный на вычислении среднеквадратического отклонения яркости пикселов изображения [2].
Метод Лапласа, обладающий наиболее острым пиком расфокусировочной кривой, в максимальной степени отвечает требованию точности определения положения наилучшей фокусировки. Однако именно это обстоятельство не позволяет использовать данный метод для анализа зашумленных изображений, содержащих артефакты. При его использовании вероятность пропуска глобального и “захвата” побочного максимума весьма велика. Другими словами, метод Лапласа, обеспечивая высокую точность, не отвечает требованиям достоверности.
Вычисление значений расфокусировочной кривой Lk по методу Лапласа проводится следующим образом. Для каждого k-го изображения, получаемого при перемещении предметного столика в направлении, перпендикулярном оси объектива, вычисляется значение
∑ ∑M−1N−1
Lk =
∇L(i,j)k .
i=2 j=2
Здесь M и N – размеры изображения в пикселaх по двум координатам, ∇L(i,j)k – абсолютное
значение градиента, определяемого как
∇L(i,
j)k
=
1 6
{4fk
(i,
j)
−[fk
(i
−1,
j)
+
fk
(i,
j
−1)
+
+ fk (i +1,j) + fk (i,j +1)]},
где fk (i,j) – значение яркости пиксела с координатами i, j в k-м изображении.
Алгоритм, основанный на вычислении среднеквадратического отклонения яркости пикселов
изображения, в максимальной степени отвечает требованию достоверности определения поло-
жения наилучшей фокусировки. Он обладает пологим пиком и широкими “крыльями” расфо-
кусировочной кривой. Данный метод достаточно эффективен при анализе изображений “толстых”
образцов, а также зашумленных изображений, содержащих артефакты, однако результат его
применения при наблюдении тонких образцов с высоким контрастом деталей может быть весьма
посредственным. Вычисление значений расфокусировочной
кривой по данному алгоритму проводится следующим образом. Для каждого k-го изображе-
ния, получаемого при перемещении предметного столика в направлении, перпендикулярном оси
объектива, вычисляется значение
Gk = ∑M ∑N (fk (i,j) −fk )2, i=1 j=1
∑ ∑где
fk
=
1 MN
M i=1
N
fk
j=1
(i,
j).
В настоящей работе предложен обобщенный
алгоритм, в наибольшей степени сочетающий
в себе достоинства указанных выше алгорит-
мов. Значения расфокусировочной кривой по
обобщенному алгоритму Fk вычисляются как среднеарифметическое значений, полученных
по методу Лапласа и по алгоритму среднеква-
дратического отклонения яркости пикселов
изображения,
Fk
=
Lk
+ 2
Gk
.
На рис. 1–4 представлены изображения двух образцов, полученных при использовании двух различных объективов, и экспериментальные нормированные на максимум расфокусировочные кривые зависимости изменения контраста этих изображений от перемещения предметного столика микроскопа относительно объектива, построенные по различным алгоритмам.
На рис. 1 и 2 приведены изображения высококонтрастного образца, представляющего собой фотошаблон штриховой миры (а) и расфокусировочные кривые (б). На рис. 3 и 4 – изображения слабоконтрастного биологического препарата (а) и соответствующие расфокусировочные кривые (б).
Экспериментальные данные получены с использованием двух объективов: длиннофокусного с увеличением 3,7× и числовой апертурой 0,11 (рис. 1 и 3) и короткофокусного с увеличением 10× и числовой апертурой 0,25 (рис. 2 и 4). Приведенные на рисунках расчетные значения глубины резкости изображаемого пространства Δ найдены по формуле
Δ
=
λ 2N
a2
,
где λ – длина волны излучения, Nа – числовая апертура объектива.
В середине видимого диапазона спектра для длиннофокусного и короткофокусного объективов значения Δ составляют 25 и 5 мкм соответственно.
Из рисунков видно, что расфокусировочные кривые, полученные для фотошаблона, являются симметричными относительно положения наилучшей фокусировки, в отличие от кривых,
18 “Оптический журнал”, 76, 10, 2009
полученных для биопрепарата. Это можно объяснить различной толщиной образцов. Положения максимумов кривых, рассчитанных по методу Лапласа (кривые 1) и алгоритму, основанному на вычислении среднеквадратического отклонения яркости пикселов изображения (кривые 2), практически точно совпадают, за исключением случая, представленного на рис. 3б. При наблюдении с использованием длиннофокусного объектива образца биопрепарата, обладающего значительно большей по сравнению с фотошаблоном толщиной и бо′льшим разбросом различающихся контрастом фрагментов, вычисление
среднеквадратического отклонения яркости пикселов изображения позволяет с хорошей степенью достоверности определять положение наилучшей фокусировки. Кроме того, широкие крылья кривой 2 являются весьма информативными в части определения направления, по которому предметный столик микроскопа необходимо перемещать относительно объектива для получения изображения с максимальным контрастом.
При регистрации изображения образца биопрепарата через объектив с малой глубиной резкости (рис. 4) на расфокусировочных кри-
(а) (а)
1,0 (б) 1,0 (б)
Нормированный контраст Нормированный контраст
0,6
2 = 50 мкм
2
3 1
0,2 0
400 800 z, мкм
Рис. 1. Изображение фотошаблона штриховой миры (а), полученное с использованием длиннофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
“Оптический журнал”, 76, 10, 2009
0,6 1
0,2 0
2 = 10 мкм 400 800
3 2
z, мкм
Рис. 2. Изображение фотошаблона штриховой миры (а), полученное с использованием короткофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
19
вых 1 и 2 отчетливо наблюдаются побочные максимумы, наличие которых может привести к ошибочному результату работы системы автофокусировки. На кривой 3, соответствующей обобщенному алгоритму, побочный макисимум из-за усреднения существенно сглажен.
Анализ экспериментальных данных показывает, что предлагаемый обобщенный алгоритм обеспечивает построение расфокусировочной кривой, имеющей широкие крылья и острый пик в максимуме. Новый алгоритм может обеспечить устойчивую работу системы автоматической фокусировки цифровых микроскопов в широком
1,0
(а)
0,6
(а)
(б) 2 3
Нормированный контраст Нормированный контраст
1,0 (б) 2
0,6 3
2 = 50 мкм
1
0,2 0
400 800 z, мкм
Рис. 3. Изображение биопрепарата (а), полученное с использованием длиннофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
20
0,2
2 = 10 мкм
1
0 400 800 z, мкм
Рис. 4. Изображение биопрепарата (а), полученное с использованием короткофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
диапазоне толщин наблюдаемых объектов как с низким, так и с высоким контрастом изображения. Он обладает приемлемым быстродействием и низкой чувствительностью к шумам. По своим характеристикам он выгодно отличается от известных методов определения положения наилучшей фокусировки цифровых микроскопов.
Алгоритмы автофокусировки Система автоматической фокусировки цифрового микроскопа (рис. 5) содержит фотоэлектронный приемник изображения, шаговый
“Оптический журнал”, 76, 10, 2009
2 1
4 3
5
Рис. 5. Схема цифрового микроскопа с системой автофокусировки. 1 – штатив с управляемым сканирующим столиком, 2 – цифровой приемник изображения, 3 – блок управления шаговыми двигателями вертикального и горизонтального перемещения и системой подсветки, 4 – компьютер, 5 – дисплей.
двигатель, установленный на оси привода точной фокусировки микроскопа, драйвер шагового двигателя, а также компьютер с дисплеем для обработки цифровых данных и отображения визуальной информации, поступающей с выхода фотоэлектронного приемника изображения и управления драйвером шагового двигателя.
Полагая, что быстродействие системы в целом определяется быстродействием наиболее медленной из ее составляющих, можно предположить, что скорость перемещения предметного столика в вертикальном направлении должна быть в максимальной степени оптимизирована. Для решения этой задачи наиболее эффективным средством является алгоритм управления шаговым двигателем в режиме “разгона–торможения”. Такой режим обеспечивает большой момент трогания шагового двигателя, который может быть достигнут лишь на малых частотах управляющих импульсов. После начала движения требования к моменту существенно снижаются и частота импульсов может быть увеличена до предельно допустимых значений. Для предотвращения пропуска заданного положения перед остановкой шагового двигателя необходимо вновь снижать частоту управляющих импульсов. Режим “разгона-торможения” может обеспечить сокращение времени перемещения предметного столика в несколько раз.
Выбор способа определения положения наилучшей фокусировки при условии непрерывного изменения изображения (например в процессе сканирования) зависит от характеристик образцов, подвергаемых микроскопическому исследованию. Наиболее распространенным является так называемый бинарный процесс
автофокусировки, основанный на процедуре
половинного деления шага после прохождения
локального максимума оценочной функции [3].
В данном процессе вводятся два основных пара-
метра: C – центральное положение предметного
столика из диапазона поиска наилучшего фокуса
по вертикали и D – диапазон поиска – текущее
значение вертикальных перемещений, в преде-
лах которых проводится поиск наилучшего фоку-
са. Значения параметров C и D вводит оператор,
либо они задаются программно. После запуска
программы управления проводится оценка по-
ложения предметного столика. Если столик
находится в положении, не соответствующем
значению координаты по вертикали C, то на
исполнительный механизм подается команда
перемещения предметного столика в положение
с координатой C. Далее происходит захват изо-
бражения и осуществляется анализ захваченного
изображения путем его фильтрации по одному из
выбранных алгоритмов с последующим расчетом
оценочной функции в данной точке Fc. Затем на исполнительный механизм поступает команда
на перемещение предметного столика в точку А с координатой C − D/2. После захвата изображения рассчитывается оценочная функция в данной точке Fa. Затем предметный столик перемещается в точку В с координатой C + D/2 и происходит захват изображения в данной точке, после чего расчитывается оценочная функция в точке Fb. На следующем шаге процесса текущее значение
диапазона поиска D сравнивается с заранее установленным минимальным Dmin (как правило, равным значению, для которого перемещение
предметного столика не оказывает существенно-
го влияния на резкость изображения). В случае, если D > Dmin , происходит уменьшение диапазона вдвое. Далее сравнивают значения Fa и Fb и в зависимости от их соотношения проводятся
следующие действия: – при Fa > Fb изменяется положение центра
диапазона, на исполнительный механизм пода-
ется команда перемещения предметного столика
в точку C – D/2, происходят переназначение величин Fb = Fc и захват нового изображения с вычислением нового значения Fc;
– при Fa < Fb на исполнительный механизм подается команда перемещения предметного
столика в точку C + D/2, происходят переназначение величин Fa = Fc и захват нового изображения с вычислением нового значения Fc.
Данная процедура повторяется до тех пор,
пока диапазон поиска наилучшего фокуса не станет меньше значения Dmin. Таким образом,
“Оптический журнал”, 76, 10, 2009
21
описанный выше процесс напоминает алгоритм поиска корня функции методом половинного деления.
Преимуществом бинарной процедуры автофокусировки являются надежность и низкая чувствительность к шумам изображения. Однако достижение результата поиска глобального максимума носит вероятностный характер и зависит от объекта наблюдения: для образцов, имеющих значительную протяженность по глубине, вероятность нахождения глобального максимума оценочной функции уменьшается с ростом толщины образца. Наиболее значимым недостатком данной процедуры является значительное время, необходимое для ее реализации, особенно в тех случаях, когда резкость изображения неодинакова по полю наблюдения. При этих обстоятельствах необходимо либо увеличивать размер поля изображения, по которому проводятся анализ резкости и вычисление оценочной функции, либо многократно повторять процедуры для участков изображения, расположенных в различных частях поля зрения. И то, и другое неизбежно приводит к падению быстродействия процесса автофокусировки.
Второй метод – эквиинтегральный поиск с половинным делением [4]. Данный метод обеспечивает перемещение предметного столика в положение наилучшей фокусировки с переменным шагом, каждое последующее значение которого меньше предыдущего в случае приближения к глобальному максимуму. Постоянной величиной в этом методе является произведение текущего значения шага на значение расфокусировочной функции. Как и в случае метода половинного деления шага, реверс направления и уменьшение произведения вдвое происходят при устойчивом переходе значений расфокусировочной функции через максимум. Быстродействие данного метода, как и чувствительность к шумам изображения, особенно в случае “толстых” образцов, выше, чем у предыдущего.
Наиболее универсальным способом определения положения наилучшей фокусировки является поиск с использованием полиномиальной аппроксимации и прогноза поведения оценочной функции в максимуме по известным ее значе-
ниям на крыльях распределения. Этот метод является самым быстродействующим, однако воспроизводимость результата в сильной степени зависит от выбора начальных условий поиска
Чтобы облегчить исследования особенностей применения каждого из указанных методов программный комплекс системы автоматической фокусировки цифрового микроскопа должен быть снабжен специальным интерфейсом, в котором пользователь может задавать ряд исходных значений параметров системы и процедуры поиска, например, начальный шаг, размер окна изображения, диапазон изменения частот управляющих импульсов шагового двигателя и др.
Заключение
В работе предложен новый обобщенный алгоритм определения оценочной функции, характеризующей зависимость изменения контраста изображения от положения предметного столика относительно объектива микроскопа, на основе анализа изображения предмета. Данный алгоритм оптимизирован по критериям достоверности и точности. Выполнен анализ возможных методов нахождения положения наилучшей фокусировки при сканировании образца, и сформулированы рекомендации к построению оптимальной системы автоматической фокусировки цифрового микроскопа.
ЛИТЕРАТУРА
1. Bueno-Ibarra M.A., Alvarez-Borrego J., Acho L., Chavez-Sanchez M.C. Fast autofocus algorithm for automated microscopes // Opt. Engin. 2005. V. 44. № 6. 063601.
2. Жирков В.Ф., Новиков К.В., Сушкова Л.Т. Проблема автоматической фокусировки видеомикроскопа при сканировании цитологических препаратов // Биомед. радиоэлектрон. 2000. № 6. С. 55–60.
3. Price J.H., Gough D.A. Autofocus system for scanning microscopy // Patent USA № 5790710.
4. Chen J.L., Chang C.C., Tung C.H. Autofocus searching method // Patent Application Publication USA № US2008/0151097.
22 “Оптический журнал”, 76, 10, 2009
ОПТИМИЗАЦИЯ АЛГОРИТМОВ АВТОФОКУСИРОВКИ ЦИФРОВОГО МИКРОСКОПА
© 2009 г. В. В. Беззубик*; Н. Р. Белашенков**, канд. физ.-мат. наук; С. Н. Устинов* ** Санкт-Петербургский государственный университет информационных технологий, ** механики и оптики, Санкт-Петербург ** ОАО “ЛОМО”, Санкт-Петербург
** E-mail: belashenkov@gmail.com
Предложен оптимальный алгоритм поиска положения наилучшей фокусировки в микроскопе с цифровым выводом изображения, и выработаны рекомендации к построению системы автоматической фокусировки при сканировании образца.
Ключевые слова: цифровые микроскопы, обработка изображения, алгоритмы автофокусировки.
Коды OCIS: 100.2960, 110.0180.
Поступила в редакцию 10.04.2009.
Введение
Системы автоматической фокусировки, широко применяемые в настоящее время в микроскопах, можно условно разделить на две категории: системы, контролирующие расстояние от объектива микроскопа до объекта исследования, и системы, в которых в режиме реального времени проводится анализ получаемого изображения и вырабатывается стратегия изменения положения фокуса.
В свою очередь системы первого типа подразделяются по способам реализации контроля расстояния на пассивные и активные. В пассивных системах для контроля расстояния между объектом и объективом микроскопа обычно используют интерференцию света (как правило, инфракрасного диапазона). По интерференционной картине принимают решение о взаимном расположении объекта наблюдения и объектива. В некоторых пассивных системах используют специальную подсветку, когда на объект наблюдения проецируют контрастную сетку и по ее контрасту специальное устройство принимает решение о качестве фокусировки и при необходимости изменяет ее.
В активных системах автофокусировки используют ультразвуковые излучатели и датчики либо лазерные источники, излучение которых направляют на объект и по характеристикам отраженного сигнала судят о расстоянии до него.
При использовании лазеров система автофокусировки должна включать отдельную оптическую систему, которая фокусирует лазерный луч на предметное стекло, а оптический датчик анализирует размер сфокусированного пятна. В случае изменения размера пятна контроллер принимает решение об изменении взаимного расположения объекта исследования и объектива микроскопа.
Существуют системы определения положения фокуса, действующие по принципу “светового сечения” (микроскоп LAF AMC фирмы “Leitz”). При реализации данного способа специальная оптическая система с достаточной глубиной резкости проецирует в плоскость предмета под углом к оптической оси объектива лазерное пятно, изображение которого этим объективом проецируется на приемную площадку фотоэлектронного приемника (например видикона). Положение изображения лазерного пятна на приемнике непосредственно связано с дистанцией между объективом и плоскостью предмета. При изменении расстояния между объективом и предметом изображение лазерного пятна перемещается. Предварительно настроив систему на резкость, оператор в последующем может вручную или автоматически с высокой точностью определять положение предмета относительно объектива в вертикальном направлении, обеспечивая наилучшее качество изображения.
Системы активной автофокусировки требуют сложных аппаратных средств и точной калибров-
16 “Оптический журнал”, 76, 10, 2009
ки. На приборах, использующих системы данного типа, невозможно без специальной калибровки исследовать произвольные объекты (препараты). Кроме того, такие системы не способны работать с объектами большой толщины, так как не обеспечивают фокусировку на заданную глубину.
К системам второй категории, т. е. тем, в которых в режиме реального времени проводится анализ получаемого изображения, в последнее время проявляется большой интерес. Это обусловлено тем, что непрерывно возрастающая производительность процессоров, участвующих в обработке изображения, и одновременная тенденция снижения их стоимости делают эти системы удобным инструментом достижения поставленных целей автофокусировки наиболее простым образом.
В свою очередь эти системы также можно разделить на два типа: аппаратные, использующие одномерные аппаратные фильтры для выделения высокочастотного компонента изображения, и программные, использующие программную обработку на основе разнообразных вычислительных алгоритмов.
Системы аппаратной фильтрации обладают высоким быстродействием, однако они не работают на многих видах изображений. Программные системы, напротив, имеют худшее быстродействие, но позволяют проводить фокусировку на большинстве видов изображений. Существующие программные системы автоматической фокусировки встроены в специализированные системы обработки изображений. Системы автофокусировки на базе процессоров нового поколения непосредственным образом имитируют работу зрительного аппарата человека, а производительные и устойчивые алгоритмы поиска оптимального фокуса вплотную приближаются к алгоритмам принятия решения оператором, исходящим из чувственного восприятия разнообразных зрительных образов в широком диапазоне освещенностей, контраста и цветовой гаммы изображений.
Несмотря на большое количество публикаций, посвященных исследованиям различных аспектов построения и функционирования систем автоматической фокусировки в микроскопах, ряд важных вопросов требуют дополнительного изучения. В настоящей работе рассмотрены вопросы оптимизации алгоритмов работы программно-аппаратного комплекса автофокусировки цифрового микроскопа, выполненного на основе анализа изображения микрообъекта,
получаемого с помощью фотоэлектронного приемника.
Постановка задачи
При создании системы автоматической фокусировки микроскопа, в основу которой положен принцип анализа цифровых данных, получаемых с выхода фотоэлектронного приемника изображения, необходимо принимать во внимание два не зависимых друг от друга этапа программной обработки этих данных. Вопервых, нужно выбрать метод критериальной оценки наилучшего, с точки зрения резкости, наблюдаемого изображения. Во-вторых, следует определить способ определения положения наилучшей фокусировки при условии непрерывного изменения изображения, например, при сканировании предметного столика в плоскости, перпендикулярной оси объектива. Выбор критерия оценки определяет достоверность (соответствие положения наилучшей фокусировки наблюдаемому изображению с наименьшей размытостью границ наибольшего числа фрагментов изображения) и точность установки предмета наблюдения относительно объектива микроскопа. Очевидно, что оба указанных показателя существенным образом зависят как от объективных условий наблюдения (например, толщина образца и контраст фрагментов изображения относительно фона), так и от субъективных факторов оценки контраста по тем или иным критериям. Выбор способа определения положения наилучшей фокусировки при сканировании предмета определяет скорость отрабатывания системой автофокусировки тех изменений, которые вносятся в процесс наблюдения сканирующей системой или оператором, и, следовательно, определяет производительность процесса автофокусировки. Важным фактором в данном случае является задание исходных данных для поиска. В качестве таких данных выступают исходное значение шага поиска и выбор критерия, по которому поиск инициируется.
Построение расфокусировочной кривой
В результате анализа особенностей построения и функционирования известных алгоритмов определения положения наилучшей фокусировки в микроскопах, достаточно полно представленных в работах [1, 2], установлено, что наиболее продуктивными являются два из них, а именно алгоритм, основанный на применении
“Оптический журнал”, 76, 10, 2009
17
вторых производных (здесь и далее метод Лапласа) [1], и алгоритм, основанный на вычислении среднеквадратического отклонения яркости пикселов изображения [2].
Метод Лапласа, обладающий наиболее острым пиком расфокусировочной кривой, в максимальной степени отвечает требованию точности определения положения наилучшей фокусировки. Однако именно это обстоятельство не позволяет использовать данный метод для анализа зашумленных изображений, содержащих артефакты. При его использовании вероятность пропуска глобального и “захвата” побочного максимума весьма велика. Другими словами, метод Лапласа, обеспечивая высокую точность, не отвечает требованиям достоверности.
Вычисление значений расфокусировочной кривой Lk по методу Лапласа проводится следующим образом. Для каждого k-го изображения, получаемого при перемещении предметного столика в направлении, перпендикулярном оси объектива, вычисляется значение
∑ ∑M−1N−1
Lk =
∇L(i,j)k .
i=2 j=2
Здесь M и N – размеры изображения в пикселaх по двум координатам, ∇L(i,j)k – абсолютное
значение градиента, определяемого как
∇L(i,
j)k
=
1 6
{4fk
(i,
j)
−[fk
(i
−1,
j)
+
fk
(i,
j
−1)
+
+ fk (i +1,j) + fk (i,j +1)]},
где fk (i,j) – значение яркости пиксела с координатами i, j в k-м изображении.
Алгоритм, основанный на вычислении среднеквадратического отклонения яркости пикселов
изображения, в максимальной степени отвечает требованию достоверности определения поло-
жения наилучшей фокусировки. Он обладает пологим пиком и широкими “крыльями” расфо-
кусировочной кривой. Данный метод достаточно эффективен при анализе изображений “толстых”
образцов, а также зашумленных изображений, содержащих артефакты, однако результат его
применения при наблюдении тонких образцов с высоким контрастом деталей может быть весьма
посредственным. Вычисление значений расфокусировочной
кривой по данному алгоритму проводится следующим образом. Для каждого k-го изображе-
ния, получаемого при перемещении предметного столика в направлении, перпендикулярном оси
объектива, вычисляется значение
Gk = ∑M ∑N (fk (i,j) −fk )2, i=1 j=1
∑ ∑где
fk
=
1 MN
M i=1
N
fk
j=1
(i,
j).
В настоящей работе предложен обобщенный
алгоритм, в наибольшей степени сочетающий
в себе достоинства указанных выше алгорит-
мов. Значения расфокусировочной кривой по
обобщенному алгоритму Fk вычисляются как среднеарифметическое значений, полученных
по методу Лапласа и по алгоритму среднеква-
дратического отклонения яркости пикселов
изображения,
Fk
=
Lk
+ 2
Gk
.
На рис. 1–4 представлены изображения двух образцов, полученных при использовании двух различных объективов, и экспериментальные нормированные на максимум расфокусировочные кривые зависимости изменения контраста этих изображений от перемещения предметного столика микроскопа относительно объектива, построенные по различным алгоритмам.
На рис. 1 и 2 приведены изображения высококонтрастного образца, представляющего собой фотошаблон штриховой миры (а) и расфокусировочные кривые (б). На рис. 3 и 4 – изображения слабоконтрастного биологического препарата (а) и соответствующие расфокусировочные кривые (б).
Экспериментальные данные получены с использованием двух объективов: длиннофокусного с увеличением 3,7× и числовой апертурой 0,11 (рис. 1 и 3) и короткофокусного с увеличением 10× и числовой апертурой 0,25 (рис. 2 и 4). Приведенные на рисунках расчетные значения глубины резкости изображаемого пространства Δ найдены по формуле
Δ
=
λ 2N
a2
,
где λ – длина волны излучения, Nа – числовая апертура объектива.
В середине видимого диапазона спектра для длиннофокусного и короткофокусного объективов значения Δ составляют 25 и 5 мкм соответственно.
Из рисунков видно, что расфокусировочные кривые, полученные для фотошаблона, являются симметричными относительно положения наилучшей фокусировки, в отличие от кривых,
18 “Оптический журнал”, 76, 10, 2009
полученных для биопрепарата. Это можно объяснить различной толщиной образцов. Положения максимумов кривых, рассчитанных по методу Лапласа (кривые 1) и алгоритму, основанному на вычислении среднеквадратического отклонения яркости пикселов изображения (кривые 2), практически точно совпадают, за исключением случая, представленного на рис. 3б. При наблюдении с использованием длиннофокусного объектива образца биопрепарата, обладающего значительно большей по сравнению с фотошаблоном толщиной и бо′льшим разбросом различающихся контрастом фрагментов, вычисление
среднеквадратического отклонения яркости пикселов изображения позволяет с хорошей степенью достоверности определять положение наилучшей фокусировки. Кроме того, широкие крылья кривой 2 являются весьма информативными в части определения направления, по которому предметный столик микроскопа необходимо перемещать относительно объектива для получения изображения с максимальным контрастом.
При регистрации изображения образца биопрепарата через объектив с малой глубиной резкости (рис. 4) на расфокусировочных кри-
(а) (а)
1,0 (б) 1,0 (б)
Нормированный контраст Нормированный контраст
0,6
2 = 50 мкм
2
3 1
0,2 0
400 800 z, мкм
Рис. 1. Изображение фотошаблона штриховой миры (а), полученное с использованием длиннофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
“Оптический журнал”, 76, 10, 2009
0,6 1
0,2 0
2 = 10 мкм 400 800
3 2
z, мкм
Рис. 2. Изображение фотошаблона штриховой миры (а), полученное с использованием короткофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
19
вых 1 и 2 отчетливо наблюдаются побочные максимумы, наличие которых может привести к ошибочному результату работы системы автофокусировки. На кривой 3, соответствующей обобщенному алгоритму, побочный макисимум из-за усреднения существенно сглажен.
Анализ экспериментальных данных показывает, что предлагаемый обобщенный алгоритм обеспечивает построение расфокусировочной кривой, имеющей широкие крылья и острый пик в максимуме. Новый алгоритм может обеспечить устойчивую работу системы автоматической фокусировки цифровых микроскопов в широком
1,0
(а)
0,6
(а)
(б) 2 3
Нормированный контраст Нормированный контраст
1,0 (б) 2
0,6 3
2 = 50 мкм
1
0,2 0
400 800 z, мкм
Рис. 3. Изображение биопрепарата (а), полученное с использованием длиннофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
20
0,2
2 = 10 мкм
1
0 400 800 z, мкм
Рис. 4. Изображение биопрепарата (а), полученное с использованием короткофокусного объектива, и соответствующие ему расфокусировочные кривые (б), рассчитанные по методу Лапласа (1), алгоритму вычисления среднеквадратического отклонения яркости пикселов (2) и обобщенному алгоритму (3).
диапазоне толщин наблюдаемых объектов как с низким, так и с высоким контрастом изображения. Он обладает приемлемым быстродействием и низкой чувствительностью к шумам. По своим характеристикам он выгодно отличается от известных методов определения положения наилучшей фокусировки цифровых микроскопов.
Алгоритмы автофокусировки Система автоматической фокусировки цифрового микроскопа (рис. 5) содержит фотоэлектронный приемник изображения, шаговый
“Оптический журнал”, 76, 10, 2009
2 1
4 3
5
Рис. 5. Схема цифрового микроскопа с системой автофокусировки. 1 – штатив с управляемым сканирующим столиком, 2 – цифровой приемник изображения, 3 – блок управления шаговыми двигателями вертикального и горизонтального перемещения и системой подсветки, 4 – компьютер, 5 – дисплей.
двигатель, установленный на оси привода точной фокусировки микроскопа, драйвер шагового двигателя, а также компьютер с дисплеем для обработки цифровых данных и отображения визуальной информации, поступающей с выхода фотоэлектронного приемника изображения и управления драйвером шагового двигателя.
Полагая, что быстродействие системы в целом определяется быстродействием наиболее медленной из ее составляющих, можно предположить, что скорость перемещения предметного столика в вертикальном направлении должна быть в максимальной степени оптимизирована. Для решения этой задачи наиболее эффективным средством является алгоритм управления шаговым двигателем в режиме “разгона–торможения”. Такой режим обеспечивает большой момент трогания шагового двигателя, который может быть достигнут лишь на малых частотах управляющих импульсов. После начала движения требования к моменту существенно снижаются и частота импульсов может быть увеличена до предельно допустимых значений. Для предотвращения пропуска заданного положения перед остановкой шагового двигателя необходимо вновь снижать частоту управляющих импульсов. Режим “разгона-торможения” может обеспечить сокращение времени перемещения предметного столика в несколько раз.
Выбор способа определения положения наилучшей фокусировки при условии непрерывного изменения изображения (например в процессе сканирования) зависит от характеристик образцов, подвергаемых микроскопическому исследованию. Наиболее распространенным является так называемый бинарный процесс
автофокусировки, основанный на процедуре
половинного деления шага после прохождения
локального максимума оценочной функции [3].
В данном процессе вводятся два основных пара-
метра: C – центральное положение предметного
столика из диапазона поиска наилучшего фокуса
по вертикали и D – диапазон поиска – текущее
значение вертикальных перемещений, в преде-
лах которых проводится поиск наилучшего фоку-
са. Значения параметров C и D вводит оператор,
либо они задаются программно. После запуска
программы управления проводится оценка по-
ложения предметного столика. Если столик
находится в положении, не соответствующем
значению координаты по вертикали C, то на
исполнительный механизм подается команда
перемещения предметного столика в положение
с координатой C. Далее происходит захват изо-
бражения и осуществляется анализ захваченного
изображения путем его фильтрации по одному из
выбранных алгоритмов с последующим расчетом
оценочной функции в данной точке Fc. Затем на исполнительный механизм поступает команда
на перемещение предметного столика в точку А с координатой C − D/2. После захвата изображения рассчитывается оценочная функция в данной точке Fa. Затем предметный столик перемещается в точку В с координатой C + D/2 и происходит захват изображения в данной точке, после чего расчитывается оценочная функция в точке Fb. На следующем шаге процесса текущее значение
диапазона поиска D сравнивается с заранее установленным минимальным Dmin (как правило, равным значению, для которого перемещение
предметного столика не оказывает существенно-
го влияния на резкость изображения). В случае, если D > Dmin , происходит уменьшение диапазона вдвое. Далее сравнивают значения Fa и Fb и в зависимости от их соотношения проводятся
следующие действия: – при Fa > Fb изменяется положение центра
диапазона, на исполнительный механизм пода-
ется команда перемещения предметного столика
в точку C – D/2, происходят переназначение величин Fb = Fc и захват нового изображения с вычислением нового значения Fc;
– при Fa < Fb на исполнительный механизм подается команда перемещения предметного
столика в точку C + D/2, происходят переназначение величин Fa = Fc и захват нового изображения с вычислением нового значения Fc.
Данная процедура повторяется до тех пор,
пока диапазон поиска наилучшего фокуса не станет меньше значения Dmin. Таким образом,
“Оптический журнал”, 76, 10, 2009
21
описанный выше процесс напоминает алгоритм поиска корня функции методом половинного деления.
Преимуществом бинарной процедуры автофокусировки являются надежность и низкая чувствительность к шумам изображения. Однако достижение результата поиска глобального максимума носит вероятностный характер и зависит от объекта наблюдения: для образцов, имеющих значительную протяженность по глубине, вероятность нахождения глобального максимума оценочной функции уменьшается с ростом толщины образца. Наиболее значимым недостатком данной процедуры является значительное время, необходимое для ее реализации, особенно в тех случаях, когда резкость изображения неодинакова по полю наблюдения. При этих обстоятельствах необходимо либо увеличивать размер поля изображения, по которому проводятся анализ резкости и вычисление оценочной функции, либо многократно повторять процедуры для участков изображения, расположенных в различных частях поля зрения. И то, и другое неизбежно приводит к падению быстродействия процесса автофокусировки.
Второй метод – эквиинтегральный поиск с половинным делением [4]. Данный метод обеспечивает перемещение предметного столика в положение наилучшей фокусировки с переменным шагом, каждое последующее значение которого меньше предыдущего в случае приближения к глобальному максимуму. Постоянной величиной в этом методе является произведение текущего значения шага на значение расфокусировочной функции. Как и в случае метода половинного деления шага, реверс направления и уменьшение произведения вдвое происходят при устойчивом переходе значений расфокусировочной функции через максимум. Быстродействие данного метода, как и чувствительность к шумам изображения, особенно в случае “толстых” образцов, выше, чем у предыдущего.
Наиболее универсальным способом определения положения наилучшей фокусировки является поиск с использованием полиномиальной аппроксимации и прогноза поведения оценочной функции в максимуме по известным ее значе-
ниям на крыльях распределения. Этот метод является самым быстродействующим, однако воспроизводимость результата в сильной степени зависит от выбора начальных условий поиска
Чтобы облегчить исследования особенностей применения каждого из указанных методов программный комплекс системы автоматической фокусировки цифрового микроскопа должен быть снабжен специальным интерфейсом, в котором пользователь может задавать ряд исходных значений параметров системы и процедуры поиска, например, начальный шаг, размер окна изображения, диапазон изменения частот управляющих импульсов шагового двигателя и др.
Заключение
В работе предложен новый обобщенный алгоритм определения оценочной функции, характеризующей зависимость изменения контраста изображения от положения предметного столика относительно объектива микроскопа, на основе анализа изображения предмета. Данный алгоритм оптимизирован по критериям достоверности и точности. Выполнен анализ возможных методов нахождения положения наилучшей фокусировки при сканировании образца, и сформулированы рекомендации к построению оптимальной системы автоматической фокусировки цифрового микроскопа.
ЛИТЕРАТУРА
1. Bueno-Ibarra M.A., Alvarez-Borrego J., Acho L., Chavez-Sanchez M.C. Fast autofocus algorithm for automated microscopes // Opt. Engin. 2005. V. 44. № 6. 063601.
2. Жирков В.Ф., Новиков К.В., Сушкова Л.Т. Проблема автоматической фокусировки видеомикроскопа при сканировании цитологических препаратов // Биомед. радиоэлектрон. 2000. № 6. С. 55–60.
3. Price J.H., Gough D.A. Autofocus system for scanning microscopy // Patent USA № 5790710.
4. Chen J.L., Chang C.C., Tung C.H. Autofocus searching method // Patent Application Publication USA № US2008/0151097.
22 “Оптический журнал”, 76, 10, 2009