Например, Бобцов

Цифровая микроскопия от нано до макро с использованием системы анализа изображений SIAMS

УДК 004.932 + 681.723
ЦИФРОВАЯ МИКРОСКОПИЯ ОТ НАНО ДО МАКРО С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ АНАЛИЗА ИЗОБРАЖЕНИЙ SIAMS
© 2011 г. Р. М. Кадушников, канд. физ.-мат. наук; В. М. Алиевский; С. В. Сомина; А. Л. Козерчук; М. С. Петров ООО “СИАМС”, г. Екатеринбург E-mail: info@siams.com
Рассмотрены ключевые особенности новых систем анализа изображений, основанных на технологии электронных таблиц для работы с изображениями. Показана возможность перевода систем анализа изображений из разряда систем для визуализации в разряд средств измерений. Приведены примеры работы анализатора изображений SIAMS для анализа изображений микроструктур в широком диапазоне масштабов, полученных различными методами цифровой микроскопии.
Ключевые слова: системы анализа изображений, цифровая обработка изображений, технология электронных таблиц, цифровая микроскопия.
Коды OCIS: 110.0110, 100.2000, 100.2960, 100.3010
Поступила в редакцию 08.06.2010

Развитие научных направлений, связанных c разработкой новых материалов, за последние десятилетия сформировало комплекс задач по систематизации, хранению и доступу к новой информации, появляющейся при исследовании и анализе корреляционных связей “состав–структура–свойства”. Важным фактором, который необходимо учитывать, является то, что при анализе изображений структур в материаловедении, особенно в нанометровом диапазоне, используется дорогостоящее оборудование, а сама процедура получения изображения, его интерпретация и экспертная оценка достаточно наукоемки. Основная сложность при решении таких задач связана с необходимостью эффективно использовать знания экспертов в конкретной предметной области и навыки специалистов-разработчиков инструментария исследования. Этот момент является важным, так как качество инструментально-методической платформы определяет возможность достижения положительного результата.
В связи с этим возникла необходимость разработки новой инструментальной среды, которая позволяла бы формализовать и сохранять алгоритмы и знания в предметной области исследования, а также объединять их с конкретными методами получения и анализа изображений. При этом данные методы должны быть

презентативны и применимы для решения типовых задач, обладать удобным интерфейсом и быть достаточно простыми в освоении и обучении. В процессе совместной работы исследователей и разработчиков систем анализа изображений сформировались новые функциональные, интерфейсные и системные требования к современным исследовательским системам анализа изображений.
Анализаторы изображений как средство измерения параметров микроструктуры
Современные измерительные средства, работающие с изображениями микроструктуры, являются программно-аппаратными комплексами, состоящими из двух основных блоков: блока аппаратного обеспечения (микроскопа), осуществляющего отображение поверхности образца в некоторое изображение или модель, и блока программного обеспечения (системы анализа изображения), осуществляющего автоматизированные измерения параметров микроструктуры. Блоки работают в паре друг с другом, и погрешности или неточности, возникающие в одном из них, непременно сказываются на правильности и точности получаемых результатов измерений в целом. В связи с этим, каждый из блоков требует как независимой настройки, учитывающей устранимые и

“Оптический журнал”, 78, 1, 2011

77

неустранимые погрешности, так и настройки для работы в тандеме “микроскоп–система анализа изображения”, что заметно усложняет задачу обеспечения точности измерений. Данные факторы необходимо учитывать при разработке методик и инструментария настройки и калибровки программно-аппаратных комплексов, обеспечивающих перевод устройств из разряда систем для визуализации в разряд средств измерений линейных размеров объектов исследования.
Система анализа изображений является средством измерений, и у пользователей должна быть уверенность в том, что программное обеспечение адекватно выполняет свои функции и не вносит никаких искажений в потоки измерительной информации, а также в том, что погрешность анализатора изображения существенно ниже погрешности используемого микроскопа. Для достижения этой уверенности необходимо проводить аттестацию, позволяющую оценить погрешности, связанные с работой программного обеспечения как на этапе получения и оцифровки изображения, так и при обработке изображения в процессе проведения измерений. При проведении измерений методами анализа изображений искажение результатов определяется погрешностями, вызванными некачественной пробоподготовкой, ошибками, вносимыми методом получения изображения, а также погрешностями, связанными с реализацией алгоритмов анализа. Для определения значимости каждого из этих факторов необходимо своевременно вводить соответствующие поправки в результаты измерений, а также находить способы устранения их влияния.
Программная составляющая измерительного средства, работающего с изображениями микроструктуры, реализует общую методологию анализа и контроля объектов, осуществляет непосредственную обработку исходных данных, измерение требуемых характеристик, их частичную интерпретацию и формирование результата. В силу этого, определяющими становятся методология и алгоритмы, реализуемые в цепочке передачи данных с аппаратной части комплекса (микроскопа) до измерений и обработки результатов. Реализуемый подход должен правильно выделять ключевые характеристики при работе с информацией, обеспечивать корректную интерпретацию и обработку данных, выдавать результат с заданной точностью.
В соответствии с вышеперечисленными положениями коллективом ООО “СИАМС” был

разработан программно-аппаратный комплекс “Анализатор фрагментов микроструктуры твердых тел”, включенный в Государственный реестр средств измерений [1]. В настоящее время комплекс внедряется на ведущих предприятиях металлургической промышленности, машиностроения, топливно-энергетического комплекса, коксохимического производства, строительной индустрии, на предприятиях атомной промышленности.
Новые технологии автоматизации анализа изображений
Уровень разработки теоретических основ и методов обработки изображений, а также интенсивное развитие аппаратной базы позволяют создавать автоматизированные и автоматические программно-аппаратные комплексы для анализа изображений. При этом для достижения высокого уровня автоматизации, кроме знаний определенной предметной области, как правило, требуются глубокие знания языков и технологий программирования.
Универсальность, высокая степень наглядности процесса обработки и анализа данных в сочетании с возможностью корректировки отдельных этапов и повышение уровня автоматизации процесса обуславливает удобство использования программных пакетов, созданных по технологии электронных таблиц. Подобные программные продукты, как правило, применяются для обработки числовой и текстовой информации. Обработка и анализ изображений в электронных таблицах до недавнего времени в программном обеспечении практически не использовались из-за сложности реализации.
Компаниями SIAMS (ООО “СИАМС”) и Smart Imaging Technologies (США) разработана новая технология автоматизированного анализа изображений с использованием электронных таблиц Smart Imaging Spreadsheet (SIMAGIS®), которая облегчает пользователю процесс анализа, а также позволяет существенно повысить уровень автоматизации при необходимости проведения серийной обработки образцов [2]. Разработка компаний легла в основу нового поколения анализаторов изображений SIAMS (Systems of Image Analysis and Modeling Structures) [3].
Обработка изображений с использованием технологии электронных таблиц в системах анализа изображений SIAMS строится в виде цепочки взаимосвязанных ячеек, каждая из ко-

78 “Оптический журнал”, 78, 1, 2011

торых может содержать одновременно и данные и функции. Внутри цепочки ячейки обычно содержат результаты промежуточных и конечных этапов обработки (изображения, числовые данные, графики, отчеты). Каждый этап доступен пользователю для визуального контроля, настройки параметров и редактирования. Библиотека функций системы содержит практически все известные в настоящий момент универсальные и большое количество уникальных алгоритмов обработки изображений. Пользователю достаточно разместить в ячейке таблицы интересующую его функцию, выбрав ее из списка, и настроить параметры. При настройке результаты обработки отображаются в ячейке.
Основные особенности анализаторов изображений SIAMS, базирующихся на технологии электронных таблиц, можно представить в виде следующих концептуальных положений:
1. Интерфейсные решения протоколирования слабоформализованных наукоемких этапов исследования. Исследовательский мониторинг промежуточных результатов.
2. Концепция перехода от библиотеки функций к библиотеке технологий. Технологическое программирование решений.
3. Концепция вложенных технологий. Концептуальное программирование решений.
4. Концепция презентации визуально сложной задачи. Иерархия визуального образа.
5. Концепция перехода от протокола исследований к понятию наукоемкого продукта. Процедура компиляции результата: программная свертка, технологическая свертка, концептуальная свертка.
6. Концепция полностью автоматизированных решений со специализированными интерфейсами управления.
Система анализа изображений SIAMS реализована по модульному принципу. Все модули разделены на три группы:
Инструменты – универсальные модули (таблицы), предназначенные для выполнения часто встречающихся процедур: измерение углов и длин, измерение выделенных объектов, сшивка перекрывающихся изображений в одно, реконструкция сфокусированного изображения.
Готовые решения – специализированные модули для автоматической серийной обработки изображений в определенной предметной области.
Примеры – таблицы, содержащие примеры цепочек обработки изображений из разных предметных областей.

На рис. 1 изображен внешний вид модуля “Рабочая таблица”. Он предназначен для создания пользовательских алгоритмов обработки.
Специализированные модули сгруппированы по предметным областям: материаловедение, нанотехнологии, биология, медицина, петрография, минералогия и др. Данная система не имеет принципиальных ограничений для использования в любых областях человеческой деятельности, в которых необходимо проведение анализа изображений. При этом скорость разработки на ее основе приложений для конечного пользователя значительно превосходит все имеющиеся в мире аналоги.
Использование технологии электронных таблиц для анализа изображений, а также многолетний опыт работы в области анализа изображений структур материалов, позволили компании SIAMS создать целый спектр специализированных решений для типовых задач материаловедения: анализ зерна, фазовый анализ, анализ включений, гранулометрический анализ частиц и пор, анализ слоев и покрытий. Специалистами компании решены многие нетривиальные задачи материаловедения, среди которых:
• семейство решений по анализу структуры металла, в том числе анализ аустенитного зерна, двойниковых зерен, зерна в стали после двойной термообработки и др. [4, 5];
• решения для минералогического анализа рудного и нерудного сырья по аншлифам, прозрачным шлифам и шлиховым пробам [6, 7].
Специального рассмотрения заслуживает опыт использования анализаторов изображений SIAMS в сфере нанотехнологий. Компанией SIAMS совместно с компанией Smart Imaging Technologies был разработан комплекс алгоритмов и программ для анализа структуры наноматериалов (углеродных нанотрубок, нановолокон, наночастиц). Уникальность задачи, которую удалось решить, заключается в том, что на сегодняшний день нет общепризнанных стандартов и подходов для анализа подобного типа материалов, то есть постановка задачи и ожидаемые результаты являются слабо формализованными. Поэтому предлагаемое решение должно было обладать, с одной стороны, системной гибкостью (на уровне постановки задачи, технологии выделения объектов, проведения измерений и оформления результатов), а с другой стороны, обладать значительной устойчивостью к входным условиям. (Необходимость в ручном редактировании должна была

“Оптический журнал”, 78, 1, 2011

79

Рис. 1. Интерфейс модуля “Рабочая таблица”. В ячейках таблицы содержится цепочка обработки по восстановлению сетки границ зерен в стали.

быть сведена к минимуму.) Для выполнения предъявляемых требований были предприняты следующие шаги:
1. Проведена классификация типов структур. 2. Совместно с экспертами американских университетов определены необходимые группы параметров для описания данных структур. 3. Разработан набор базовых электронных таблиц, в которых были формализованы алгоритмы по анализу изображения наноструктур. 4. Создана библиотека решений для анализа и классификации наноструктур. 5. Разработана концепция визуального интерфейса и минимальные наборы параметров для настройки решений. 6. Спроектирован и реализован комплекс полностью автоматизированных решений по анализу наноструктур. 7. Созданы методики тестирования и верификации работы решений. Для демонстрации общего подхода, реализованного в решениях, на рис. 2 представлен интерфейс решения “Анализ толщины и ориентации нановолокон”. Специализированные решения анализатора изображений SIAMS в области микро- и наноскопии позволяют анализировать изображения

различных видов микроструктур, полученных методами сканирующей электронной микроскопии, просвечивающей электронной микроскопии, сканирующей зондовой микроскопии, конфокальной и оптической микроскопии (рис. 3) [8–10].
Заключение
Основные преимущества использования систем анализа изображений SIAMS как инструментария цифровой микроскопии в широком диапазоне масштабов можно сформулировать следующим образом.
Современный программный исследовательский инструментарий является реализацией совместного проекта специалистов некоторой предметной области и специалистовразработчиков программного обеспечения. Он аккумулирует знания участников проекта и требует от специалистов новой компетенции, формирующейся на стыке научных отраслей. Анализаторы изображений SIAMS не только позволяют проводить исследования, но и влияют на их организацию, формируя понятие промежуточного результата и новый вид протокола исследований.

80 “Оптический журнал”, 78, 1, 2011

Рис. 2. Интерфейс решения “Анализ толщины и ориентации нановолокна”. (а) (б)

(в)

50 нм

n, %
20 15 10
5

n, %
16 12
8 4

n, %
40 30 20 10

0 0,2 0,4 0,6 0,8 1 D, мм

0

20 40

60 D, нм 0

0,4 0,8 1,2 1,6 2,0

Длина трубки, нм 103

Рис. 3. Примеры анализа изображений микроструктур, полученных различными методами: а – препарат порошка, снятый оптическим микроскопом; б – перекрывающиеся частицы, снятые просвечивающим электронным микроскопом; в – нанотрубки и нановолокна, снятые атомно-силовым микроскопом.

“Оптический журнал”, 78, 1, 2011

81

Анализаторы изображений SIAMS являются саморазвивающейся системой. Они по мере формирования решений и разработки технологий создают библиотеку технологий и решений наподобие иерархической системы знаний.
Важной сферой применения является использование анализаторов изображений SIAMS в образовательной деятельности. С их помощью производится подготовка студентов в Уральском федеральном университете и в ряде других образовательных учреждений. Планируется создание специальной кафедры для подготовки специалистов в области обработки и анализа изображений, регулярно проводятся курсы повышения квалификации для специалистов материаловедов, петрографов, минералогов.
ЛИТЕРАТУРА
1. Анализатор фрагментов микроструктуры твердых тел // Свидетельство об утверждении типа средств измерений RU.C.31.005.A № 36493. № 27438-09.
2. Кадушников Р.М., Алиевский В.М., Каменин И.Г., Гроховский В.И. Автоматизированный анализ изображений с использованием технологии электронных таблиц // Современные информационные технологии и ИТ-образование: Учебно-методич. пособие / Под ред. Сухомлина В.А. М.: МАКС Пресс, 2005. C. 603–606.
3. Кадушников Р.М., Каменин И.Г., Вылегжанин А.Н. Анализатор фрагментов микроструктуры твердых тел SIAMS 700 // Cвидетельство о гос. регистрации программы для ЭВМ № 2008615275. 2008.
4. Сомина С.В., Кадушников Р.М., Гроховский В.И., Каменин И.Г., Алиевский В.М., Михайлович А.П.,

Антонов И.В. Автоматизированные методы анализа зерен с двойниками в суперсплавах // Тез. докл. XVIII Уральской школы металловедовтермистов. Тольятти, 2006. 222 с.
5. Алиевский В.М., Каменин И.Г., Гайдуков В.В., Кадушников Р.М., Гроховский В.И., Сомина С.В. Методика построения автоматизированных систем анализа структуры высоколегированных сталей // Тез. докл. XVIII Уральской школы металловедов-термистов. Тольятти, 2006. 223 с.
6. Макавецкас А.Р., Петров М.С. Применение пакета анализа изображений “Минерал С7” для расчета структурных параметров минерального сырья // VII Конгресс обогатителей стран СНГ: Материалы конгресса. Москва, 3–5 марта 2009 г. М.: МИСиС, 2009. (Электронный вариант).
7. Петров М.С., Нурканов Е.Ю., Козерчук А.Л., Кадушников Р.М. Решение задач технологической минералогии средствами автоматизированной оптической микроскопии // VII Конгресс обогатителей стран СНГ: Материалы конгресса. Москва, 3–5 марта 2009 г. М.: МИСиС, 2009. (Электронный вариант).
8. Kadushnikov R., Khvatkov V. Automated Methods for Visual Analysis of Carbon Nanotubes. II Joint Workshop on Measurement Issues in Carbon Nanotubes // NIST, Gaithersburg. 2005.
9. Антонов И.В., Алиевский В.М., Кадушников Р.М., Гроховский В.И. Морфологическое исследование наночастиц средствами анализа изображений // Вестник УГТУ–УПИ. Цифровая микроскопия. Екатеринбург, 2005. № 10 (62). С. 63–68.
10. Алфимов М.В., Кадушников Р.М., Антонов И.В. Структурная иерархия характеристик нанообъектов в задачах анализа и контроля перспективных материалов // Тез. докл. Международной конф. “Нанотехнологии и информационные технологии – технологии XXI века”. М.: Изд-во МГОУ. 2006. C. 31–32.

82 “Оптический журнал”, 78, 1, 2011