Программный комплекс интерактивной обработки изображений в цифровой микроскопии
УДК 681.3.01
ПРОГРАММНЫЙ КОМПЛЕКС ИНТЕРАКТИВНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В ЦИФРОВОЙ МИКРОСКОПИИ
© 2011 г. Т. А. Шереметьева*, канд. физ.-мат. наук; В.Г. Шереметьев** ** НИИ комплексных испытаний оптико-электронных приборов и систем, г. Сосновый Бор, ** Ленинградская область
** ЗАО “ДИАМОРФ”, Москва
** Е-mail: telmed@diamoph.ru
Предложен метод, сочетающий быстродействие математических расчетов, выполняемых вычислительной техникой, с визуальной оценкой и интерактивной коррекцией процесса дешифрирования. Метод основан на новом способе преобразования изображений, который визуализирует меру сходства с образцом. Метод реализован в программном обеспечении “ДиаМорф Объектив”, которое предназначено для компьютерного анализа изображений цифровой микроскопии. Программное обеспечение может быть использовано для обработки изображений, полученных в проходящем, отраженном, поляризованном, неполяризованном свете и в свете люминесценции. Программное обеспечение позволяет выделять объекты по совокупности признаков как на монохромных и цветных, так и на многоспектральных и гиперспектральных изображениях.
Ключевые слова: обработка изображений, цифровая микроскопия, люминесценция, целевая интерактивная визуализация.
Коды OCIS: 100.0100, 180.0180, 170.0170
Поступила в редакцию 31.03.2010
Введение
Обработка изображений цифровой микроскопии состоит из этапов улучшения визуального качества, выделения объектов исследования и измерения морфометрических и денсиметрических параметров. Основная цель методов улучшения визуального качества микроскопических изображений состоит в преобразовании изображений к более информативному виду с контрастным выделением деталей, представляющих интерес для данного исследования. Известные методы повышения локального контраста [1] решают задачу выделения деталей на изображении, но они направлены на улучшение всего изображения, в том числе и несущественных или даже мешающих восприятию деталей.
При решении конкретной задачи не все объекты на изображении представляют одинаковый интерес. Очевидно, что производить обработку целесообразно таким образом, чтобы на итоговом изображении объекты, представляющие интерес, отображались наилучшим образом. Удовлетворительное дешифрирование
изображений во многих случаях не может быть осуществлено без участия человека. Интерактивные методы, сочетающие быстродействие математических расчетов, выполняемых вычислительной техникой, с визуальной оценкой и интерактивной коррекцией процесса дешифрирования приводят к хорошим результатам.
Сочетание целевого преобразования с интерактивными методами позволяет повысить качество выделения конкретных объектов перед проведением измерений.
Интерактивное целевое преобразование изображений
В программном обеспечении “ДиаМорф Объектив” применяется метод преобразования изображений по принципу визуализации меры сходства с образцом [2, 3], т. е. этот метод осуществляет “целенаправленную” визуализацию. В результате такого преобразования получают синтезированное изображение в градациях серого. Яркость каждого пиксела такого изображения характеризует его сходство с образцом (эталоном).
74 “Оптический журнал”, 78, 1, 2011
(а) (б) (в)
Рис. 1. Преобразование изображения визуализацией меры сходства с образцом типа “хлопок”^ а – исходное изображение, б – преобразованное изображение, в – изображение с выделенными объектами типа “хлопок”. (а) (б) (в)
Рис. 2. Преобразование изображения визуализацией меры сходства с образцом типа “нити”, а – исходное изображение, б – преобразованное изображение, в – изображение с выделенными объектами типа “нити”.
(а) (б)
Рис. 3. Преобразование исходного цветного изображения в псевдоцвете: а – исходное изображение, б – преобразованное изображение в псевдоцвете с выделенными объектами типа “нити” и “хлопка”. (а)
(б)
Рис. 4. Визуальное целевое представление многоспектрального изображения: а – многоспектральное изображение; б – визуальное представление, соответствующее четырем образцам.
В качестве признакового пространства может быть выбрано пространство интенсивности в каждом из каналов R, G, B. Могут быть использованы и другие признаки, например, признаки текстуры и признаки смежности. В качестве меры сходства могут быть использованы любые из известных расстояний, используемых в задачах классификации изображений [4]. В качестве образца выбирают вектор признакового пространства [5]. Выбор образца производится либо заданием априорно известных значений признаков, либо с помощью указания на один из выделяемых объектов.
Преобразованное изображение, интенсивность которого соответствует мере сходства с образцом, представлено в градациях серого. Это позволяет специалисту, используя свой опыт в данной прикладной области, интерактивно регулировать яркость и контраст изображения для выделения интересующих его объектов.
На рис. 1 продемонстрированы этапы обработки изображения пробы, взятой с мембраны водяного фильтра сточных вод, для выделения объектов типа “хлопок”. Выделенные объекты представлены черным на бинарном изображении.
Выбрав другой объект на том же изображении, можно таким же образом выделить объекты другого типа. На рис. 2 продемонстрированы этапы обработки того же изображения для выделения объектов типа “нити”.
Изображения с выделенными объектами на бинарном изображении поступают в модуль автоматического вычисления морфометрических и денситометрических параметров объектов. Бинарные изображения одного препарата, полученные для разных объектов, можно объединить в одном цветном изображении, присвоив каждому свой цвет. Такое преобразование исходного цветного изображения в изображение в псевдоцвете представлено на рис. 3. Этот метод преобразования легко адаптировать к конкретной задаче путем выбора соответствующего признакового пространства, меры сходства и образца.
Одной из проблем цифровой микроскопии является искажение цветопередачи при фиксации изображения. В том случае, когда образец выбирают с помощью указания на один из выделяемых объектов, результат обработки устойчив к таким искажениям, так как и образец и выделяемые объекты получены при одинаковых условиях. Такое преобразование сжимает и концентрирует информацию, содержащуюся
в изображении, на объектах, представляющих предмет исследования. Оно особенно эффективно в тех случаях, когда информация представлена в многоспектральном изображении, визуальный анализ которого непрост.
На рис. 4а представлено многоспектральное изображение легкого мыши с опухолью, отмеченной флуоресцирующим протеином. Флуоресценция была возбуждена излучением 450–490 нм и изображения получены с интервалом 10 нм в диапазоне 500–650 нм (изображение представлено на сайте Австралийского национального агентства CSIRO — www.cmis. csiro.au/iap).
На результирующем визуализированном изображении, представленном на рис. 4б, отчетливо выделяются различные участки, соответствующие четырем образцам. При выделении этих участков участвовали все исходные изображения одновременно.
Метод представляет интерес для использования в телемедицине при проведении видеоконсилиумов, видеоконсультаций, видеосовещаний: исходное изображение передается в специализированный центр. Опытный специалист в данной предметной области подготавливает и передает обратно по сети итоговое изображение.
Разработанные методы и алгоритмы реализованы в программном обеспечении “ДиаМорф Объектив 1,6” (базовый вариант) и в специализированных вариантах: “ДиаМорф Объектив 1,6 Гранулометрия”, “ДиаМорф Объектив 1,6 Водоканал”.
Базовый пакет программ “ДиаМорф Объектив 1,6” входит в состав аппаратно-программного комплекса (АПК) цифровой микроскопии “ДиаМорф”, но может использоваться и как отдельное приложение.
Аппаратно-программный комплекс цифровой микроскопии “ДиаМорф”
Базовая комплектация АПК включает в себя: световой микроскоп, цифровую видеокамеру, монитор, компьютер соответствующей конфигурации и оригинальный пакет программного обеспечения для получения изображений и проведения компьютерной морфометрии и денситометрии. Комплекс “ДиаМорф” осуществляет:
• ввод изображения микропрепарата МИКРОСКОП–КОМПЬЮТЕР;
• просмотр изображения с видеокамеры или цифровой фотокамеры; настройка экспо-
“Оптический журнал”, 78, 1, 2011
75
зиции и выбор поля (режим: просмотр изображения);
• запись видеофрагмента; • фиксацию выбранного изображения с видеокамеры или цифровой фотокамеры в памяти компьютера (режим: захват изображения); • чтение изображения с диска; • проведение геометрической калибровки – вывод данных измерений в реальных величинах, в зависимости от степени увеличения; • автоматическое выделение объектов интереса на изображении с использованием интерактивно настраиваемых параметров алгоритмов; • интерактивное редактирование изображения; • автоматический подсчет и автоматическое вычисление морфологических параметров; • статистическая обработка полученных результатов; • экспорт результатов измерений в MS Excel; • сохранение изображения и результатов измерений в базе данных; • запись изображения на диск в стандартных графических форматах. Алгоритм обработки с помощью выбора значений параметров можно настроить на рутинную обработку множества однотипных данных. Комплекс может быть интегрирован в существующую информационную систему лечебного или научно-исследовательского учреждения. Выполненные снимки и результаты анализа могут быть переданы по вычислительной сети на любое другое компьютеризированное рабочее место. Поддерживается обмен изображениями по каналам Интернета. На базе АПК “ДиаМорф-Cito” создана телемедицинская станция (Регистрационный номер 98/219-137 МЗ РФ). При участии компании “ДиаМорф” создана сеть телемедицинских станций по федеральной программе “Дети Севера”. Для микроскопических методов анализа сточных вод создан аппаратно-программный комплекс “ДиаМорф Водоканал”. Апробация метода, проведенная в Инженерно-технологическом центре с целью мониторинга количества нитчатых форм бактерий, показала его высокую эффективность при мониторинге состояния активного ила. С помощью программы “ДиаМорф Объектив 1,6 Водоканал” были проведены автоматические и полуавтоматические замеры суммарной длины мицелия нитчатых бактерий. АПК “ДиаМорф Объектив 1,6 Гранулометрия” используется для определения
гранулометрического состава в Инженернотехнологическом центре по проблемам канализации МГП “Мосводоканал”. Применение интерактивного метода визуализации при оценке гранулометрического состава загрязнений светлых нефтепродуктов позволило сократить время обработки при испытаниях фильтрующих материалов.
Заключение
Целевой интерактивный метод преобразования изображений, используемый в программном комплексе “ДиаМорф”, позволяет эффективно обрабатывать изображения цифровой микроскопии. Метод основан на сочетании математических расчетов, выполняемых вычислительной техникой, и действий оператора – специалиста, который посредством инструментов программы, используя априорную и контекстную информацию, влияет на результат выделения объектов интереса. Метод обладает рядом полезных качеств: преобразование можно адаптировать к конкретной задаче, результат обработки устойчив к искажениям цветопередачи, преобразование сжимает и концентрирует информацию на объектах, представляющих предмет исследования.
Метод реализован в программном обеспечении, которое может быть легко освоено пользователем – специалистом в прикладной области.
ЛИТЕРАТУРА
1. Dash L., Chatterji B.N. Adaptive contrast enhancement and de-enhancement // Pattern Recognition. 1992. V. 24. № 4. P. 289–302.
2. Sheremetyeva T.A. Method of representation of remote sensing data that facilitates visual interpretation // Proceedings of the 5th International Conference on Space Optics (ICSO 2004), SP-554, Toulouse, France.
3. Шереметьева Т.А., Филиппов Г.Н. Способ преобразования изображений // Патент РФ № 2267232, 2005.
4. Gonzalez R., Woods R. Digital image processing. 2002. Гонсалес Р., Вудс Р. Цифровая обработка изображений: Пер. с англ. / Под ред. Чочиа П.А. М.: Техносфера, 2006. 1072 с.
5. Шереметьева Т.А., Филиппов Г.Н., Малов А.М. Преобразование изображений по сходству с эталоном и его применение // Оптический журнал. 2010. Т. 77. № 3. С. 51–55.
76 “Оптический журнал”, 78, 1, 2011
ПРОГРАММНЫЙ КОМПЛЕКС ИНТЕРАКТИВНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В ЦИФРОВОЙ МИКРОСКОПИИ
© 2011 г. Т. А. Шереметьева*, канд. физ.-мат. наук; В.Г. Шереметьев** ** НИИ комплексных испытаний оптико-электронных приборов и систем, г. Сосновый Бор, ** Ленинградская область
** ЗАО “ДИАМОРФ”, Москва
** Е-mail: telmed@diamoph.ru
Предложен метод, сочетающий быстродействие математических расчетов, выполняемых вычислительной техникой, с визуальной оценкой и интерактивной коррекцией процесса дешифрирования. Метод основан на новом способе преобразования изображений, который визуализирует меру сходства с образцом. Метод реализован в программном обеспечении “ДиаМорф Объектив”, которое предназначено для компьютерного анализа изображений цифровой микроскопии. Программное обеспечение может быть использовано для обработки изображений, полученных в проходящем, отраженном, поляризованном, неполяризованном свете и в свете люминесценции. Программное обеспечение позволяет выделять объекты по совокупности признаков как на монохромных и цветных, так и на многоспектральных и гиперспектральных изображениях.
Ключевые слова: обработка изображений, цифровая микроскопия, люминесценция, целевая интерактивная визуализация.
Коды OCIS: 100.0100, 180.0180, 170.0170
Поступила в редакцию 31.03.2010
Введение
Обработка изображений цифровой микроскопии состоит из этапов улучшения визуального качества, выделения объектов исследования и измерения морфометрических и денсиметрических параметров. Основная цель методов улучшения визуального качества микроскопических изображений состоит в преобразовании изображений к более информативному виду с контрастным выделением деталей, представляющих интерес для данного исследования. Известные методы повышения локального контраста [1] решают задачу выделения деталей на изображении, но они направлены на улучшение всего изображения, в том числе и несущественных или даже мешающих восприятию деталей.
При решении конкретной задачи не все объекты на изображении представляют одинаковый интерес. Очевидно, что производить обработку целесообразно таким образом, чтобы на итоговом изображении объекты, представляющие интерес, отображались наилучшим образом. Удовлетворительное дешифрирование
изображений во многих случаях не может быть осуществлено без участия человека. Интерактивные методы, сочетающие быстродействие математических расчетов, выполняемых вычислительной техникой, с визуальной оценкой и интерактивной коррекцией процесса дешифрирования приводят к хорошим результатам.
Сочетание целевого преобразования с интерактивными методами позволяет повысить качество выделения конкретных объектов перед проведением измерений.
Интерактивное целевое преобразование изображений
В программном обеспечении “ДиаМорф Объектив” применяется метод преобразования изображений по принципу визуализации меры сходства с образцом [2, 3], т. е. этот метод осуществляет “целенаправленную” визуализацию. В результате такого преобразования получают синтезированное изображение в градациях серого. Яркость каждого пиксела такого изображения характеризует его сходство с образцом (эталоном).
74 “Оптический журнал”, 78, 1, 2011
(а) (б) (в)
Рис. 1. Преобразование изображения визуализацией меры сходства с образцом типа “хлопок”^ а – исходное изображение, б – преобразованное изображение, в – изображение с выделенными объектами типа “хлопок”. (а) (б) (в)
Рис. 2. Преобразование изображения визуализацией меры сходства с образцом типа “нити”, а – исходное изображение, б – преобразованное изображение, в – изображение с выделенными объектами типа “нити”.
(а) (б)
Рис. 3. Преобразование исходного цветного изображения в псевдоцвете: а – исходное изображение, б – преобразованное изображение в псевдоцвете с выделенными объектами типа “нити” и “хлопка”. (а)
(б)
Рис. 4. Визуальное целевое представление многоспектрального изображения: а – многоспектральное изображение; б – визуальное представление, соответствующее четырем образцам.
В качестве признакового пространства может быть выбрано пространство интенсивности в каждом из каналов R, G, B. Могут быть использованы и другие признаки, например, признаки текстуры и признаки смежности. В качестве меры сходства могут быть использованы любые из известных расстояний, используемых в задачах классификации изображений [4]. В качестве образца выбирают вектор признакового пространства [5]. Выбор образца производится либо заданием априорно известных значений признаков, либо с помощью указания на один из выделяемых объектов.
Преобразованное изображение, интенсивность которого соответствует мере сходства с образцом, представлено в градациях серого. Это позволяет специалисту, используя свой опыт в данной прикладной области, интерактивно регулировать яркость и контраст изображения для выделения интересующих его объектов.
На рис. 1 продемонстрированы этапы обработки изображения пробы, взятой с мембраны водяного фильтра сточных вод, для выделения объектов типа “хлопок”. Выделенные объекты представлены черным на бинарном изображении.
Выбрав другой объект на том же изображении, можно таким же образом выделить объекты другого типа. На рис. 2 продемонстрированы этапы обработки того же изображения для выделения объектов типа “нити”.
Изображения с выделенными объектами на бинарном изображении поступают в модуль автоматического вычисления морфометрических и денситометрических параметров объектов. Бинарные изображения одного препарата, полученные для разных объектов, можно объединить в одном цветном изображении, присвоив каждому свой цвет. Такое преобразование исходного цветного изображения в изображение в псевдоцвете представлено на рис. 3. Этот метод преобразования легко адаптировать к конкретной задаче путем выбора соответствующего признакового пространства, меры сходства и образца.
Одной из проблем цифровой микроскопии является искажение цветопередачи при фиксации изображения. В том случае, когда образец выбирают с помощью указания на один из выделяемых объектов, результат обработки устойчив к таким искажениям, так как и образец и выделяемые объекты получены при одинаковых условиях. Такое преобразование сжимает и концентрирует информацию, содержащуюся
в изображении, на объектах, представляющих предмет исследования. Оно особенно эффективно в тех случаях, когда информация представлена в многоспектральном изображении, визуальный анализ которого непрост.
На рис. 4а представлено многоспектральное изображение легкого мыши с опухолью, отмеченной флуоресцирующим протеином. Флуоресценция была возбуждена излучением 450–490 нм и изображения получены с интервалом 10 нм в диапазоне 500–650 нм (изображение представлено на сайте Австралийского национального агентства CSIRO — www.cmis. csiro.au/iap).
На результирующем визуализированном изображении, представленном на рис. 4б, отчетливо выделяются различные участки, соответствующие четырем образцам. При выделении этих участков участвовали все исходные изображения одновременно.
Метод представляет интерес для использования в телемедицине при проведении видеоконсилиумов, видеоконсультаций, видеосовещаний: исходное изображение передается в специализированный центр. Опытный специалист в данной предметной области подготавливает и передает обратно по сети итоговое изображение.
Разработанные методы и алгоритмы реализованы в программном обеспечении “ДиаМорф Объектив 1,6” (базовый вариант) и в специализированных вариантах: “ДиаМорф Объектив 1,6 Гранулометрия”, “ДиаМорф Объектив 1,6 Водоканал”.
Базовый пакет программ “ДиаМорф Объектив 1,6” входит в состав аппаратно-программного комплекса (АПК) цифровой микроскопии “ДиаМорф”, но может использоваться и как отдельное приложение.
Аппаратно-программный комплекс цифровой микроскопии “ДиаМорф”
Базовая комплектация АПК включает в себя: световой микроскоп, цифровую видеокамеру, монитор, компьютер соответствующей конфигурации и оригинальный пакет программного обеспечения для получения изображений и проведения компьютерной морфометрии и денситометрии. Комплекс “ДиаМорф” осуществляет:
• ввод изображения микропрепарата МИКРОСКОП–КОМПЬЮТЕР;
• просмотр изображения с видеокамеры или цифровой фотокамеры; настройка экспо-
“Оптический журнал”, 78, 1, 2011
75
зиции и выбор поля (режим: просмотр изображения);
• запись видеофрагмента; • фиксацию выбранного изображения с видеокамеры или цифровой фотокамеры в памяти компьютера (режим: захват изображения); • чтение изображения с диска; • проведение геометрической калибровки – вывод данных измерений в реальных величинах, в зависимости от степени увеличения; • автоматическое выделение объектов интереса на изображении с использованием интерактивно настраиваемых параметров алгоритмов; • интерактивное редактирование изображения; • автоматический подсчет и автоматическое вычисление морфологических параметров; • статистическая обработка полученных результатов; • экспорт результатов измерений в MS Excel; • сохранение изображения и результатов измерений в базе данных; • запись изображения на диск в стандартных графических форматах. Алгоритм обработки с помощью выбора значений параметров можно настроить на рутинную обработку множества однотипных данных. Комплекс может быть интегрирован в существующую информационную систему лечебного или научно-исследовательского учреждения. Выполненные снимки и результаты анализа могут быть переданы по вычислительной сети на любое другое компьютеризированное рабочее место. Поддерживается обмен изображениями по каналам Интернета. На базе АПК “ДиаМорф-Cito” создана телемедицинская станция (Регистрационный номер 98/219-137 МЗ РФ). При участии компании “ДиаМорф” создана сеть телемедицинских станций по федеральной программе “Дети Севера”. Для микроскопических методов анализа сточных вод создан аппаратно-программный комплекс “ДиаМорф Водоканал”. Апробация метода, проведенная в Инженерно-технологическом центре с целью мониторинга количества нитчатых форм бактерий, показала его высокую эффективность при мониторинге состояния активного ила. С помощью программы “ДиаМорф Объектив 1,6 Водоканал” были проведены автоматические и полуавтоматические замеры суммарной длины мицелия нитчатых бактерий. АПК “ДиаМорф Объектив 1,6 Гранулометрия” используется для определения
гранулометрического состава в Инженернотехнологическом центре по проблемам канализации МГП “Мосводоканал”. Применение интерактивного метода визуализации при оценке гранулометрического состава загрязнений светлых нефтепродуктов позволило сократить время обработки при испытаниях фильтрующих материалов.
Заключение
Целевой интерактивный метод преобразования изображений, используемый в программном комплексе “ДиаМорф”, позволяет эффективно обрабатывать изображения цифровой микроскопии. Метод основан на сочетании математических расчетов, выполняемых вычислительной техникой, и действий оператора – специалиста, который посредством инструментов программы, используя априорную и контекстную информацию, влияет на результат выделения объектов интереса. Метод обладает рядом полезных качеств: преобразование можно адаптировать к конкретной задаче, результат обработки устойчив к искажениям цветопередачи, преобразование сжимает и концентрирует информацию на объектах, представляющих предмет исследования.
Метод реализован в программном обеспечении, которое может быть легко освоено пользователем – специалистом в прикладной области.
ЛИТЕРАТУРА
1. Dash L., Chatterji B.N. Adaptive contrast enhancement and de-enhancement // Pattern Recognition. 1992. V. 24. № 4. P. 289–302.
2. Sheremetyeva T.A. Method of representation of remote sensing data that facilitates visual interpretation // Proceedings of the 5th International Conference on Space Optics (ICSO 2004), SP-554, Toulouse, France.
3. Шереметьева Т.А., Филиппов Г.Н. Способ преобразования изображений // Патент РФ № 2267232, 2005.
4. Gonzalez R., Woods R. Digital image processing. 2002. Гонсалес Р., Вудс Р. Цифровая обработка изображений: Пер. с англ. / Под ред. Чочиа П.А. М.: Техносфера, 2006. 1072 с.
5. Шереметьева Т.А., Филиппов Г.Н., Малов А.М. Преобразование изображений по сходству с эталоном и его применение // Оптический журнал. 2010. Т. 77. № 3. С. 51–55.
76 “Оптический журнал”, 78, 1, 2011