ОСОБЕННОСТИ РАБОТЫ С ПОТОКАМИ ЗАДАЧ ДЛИТЕЛЬНОГО ИСПОЛНЕНИЯ В РАМКАХ КОНЦЕПЦИИ iPSE
УДК 681.3.069, 681.324
К. В. КНЯЗЬКОВ
ОСОБЕННОСТИ РАБОТЫ С ПОТОКАМИ ЗАДАЧ ДЛИТЕЛЬНОГО ИСПОЛНЕНИЯ
В РАМКАХ КОНЦЕПЦИИ iPSE
Рассмотрены особенности применения модели потоков заданий длительного исполнения для повышения эффективности вычислительных экспериментов с динамически изменяющимися параметрами в распределенной среде. Ключевые слова: потоки заданий, задания длительного исполнения, методы коммуникаций, динамическое управление исполнением, усвоение данных.
Перспективы развития технологий решения мультидисциплинарных задач компьютерного моделирования в распределенных средах определяются возможностями абстрактного описания структуры композитных приложений в форме, не зависящей от низкоуровневой вычислительной архитектуры. Для этого применяется формализм потоков заданий (workflow, WF), описывающий сценарий вычислительного эксперимента в виде направленного ациклического графа, узлами которого являются задания, а ребра представляют зависимости (по данным и по управлению) между заданиями. В большинстве случаев система исполнения WF основывается на модели запуска в пакетном режиме, в соответствии с которой WF и его задания после запуска переходят в режим непрерывного исполнения без возможности их модификации и взаимодействия с ними [1]. Однако существует ряд задач, которые сложно адаптировать к пакетному режиму работы без снижения эффективности использования ресурсов. В основном они характеризуются непрерывным поступлением данных в распределенную среду через внешние источники, при котором условия эксперимента могут динамически изменяться в ходе функционирования WF без его перезапуска (см., например, [2]). В настоящей работе рассматриваются возможности использования расширенной модели WF длительного исполнения (long running WF, LRWF) для динамического управления процессом вычислений в облачной среде на основе многофункциональной инструментально-технологической платформы (МИТП) CLAVIRE (CLoud Applications VIRtual Environment), разрабатываемой в рамках концепции iPSE [3].
Модель LRWF имеет следующие характерные особенности:
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
98 К. В. Князьков — поддержка заданий длительного исполнения, время жизни которых ограничено не
условиями расчетов внутри WF, а временем работы самой распределенной среды; — поддержка коммуникации между заданиями одного WF во время исполнения; — возможность изменения WF во время исполнения за счет сценария WF, а также за
счет внешнего управления. На рисунке приведены схемы WF для задачи поддержки принятия решений в области
предотвращения наводненческой ситуации [4] c периодическим усвоением данных наблюдений. Слева (а) представлена схема WF пакетного исполнения, справа (б) — WF длительного исполнения. Рассмотрим подробно второй вариант (серые блоки на рисунке обозначают задания длительного исполнения). Задание Init отвечает за передачу в модель начальных условий; Updater отвечает за получение извне актуальных данных и передачу их в блок ассимиляции; Assimilation подготавливает данные для усвоения в вычислительной модели; Model — процесс моделирования динамики уровня и течений, результатом которого является прогноз; Visualization призван визуализировать актуальное состояние модели. Группа заданий Analysis—Model—Decision начинает свою работу по условию генерации сигнала, который может быть сформирован в задании Model вследствие изменения контрольного параметра расчета (достижения прогнозируемым уровнем значения, критического для наступления наводнения). Сценарий работы при этом следующий: запускается задача анализа (Analysis) текущей ситуации по данным модели, определяются варианты воздействий на моделируемую систему (которые могут нормализовать ситуацию), далее производится запуск нескольких заданий просчета модели путем варьирования параметров и в итоге вызывается модуль оценки и отображения возможных решений (Decision). Из схемы видно, что первым запустится задание длительного исполнения Model.
а) б)
Модель LRWF позволяет не только упростить представление WF для задач с динамически изменяемыми условиями расчета, но и более эффективно использовать имеющееся оборудование за счет сокращения накладных расходов при запуске однотипных задач в
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
Особенности работы с потоками задач длительного исполнения в рамках концепции iPSE 99
различных WF. Такой подход дает возможность производить автоматическую репликацию и
балансировку нагрузки на ресурсы на уровне системы исполнения.
Для оценки эффективности модели LRWF в терминах временных издержек расчета в
распределенной среде в качестве примера рассмотрим сценарий, когда существуют источник
последовательно поступающих данных и задание обработки этих данных, которое сохраняет
результаты обработки в хранилище (при этом данные должны быть обработаны строго по-
следовательно). Данные поступают частями объемом b, с постоянным периодом времени t
(что соответствует задаче усвоения, см. рисунок) непрерывно; общее время передачи данных
источником — T. В этом случае мера эффективности LRWF (по сравнению с пакетным WF)
определяется нижней оценкой временных издержек:
δ=
⎡T ⎢⎣ bt
−1⎤⎥⎦
(Tp
+ Tf ),
где Tp — время на подготовку к запуску одного задания (выбор ресурса, работа адаптеров ресурсов и пакетов), Tf — время на завершение задания (обработка результатов, очистка служебных ресурсов и пр.). Параметры в соотношении определяются по результатам измерения вре-
мени работы МИТП CLAVIRE. Так, для задачи предотвращения наводненческой ситуации в
среднем δ = 50—80 с, что ощутимо влияет на реактивность распределенной среды в целом.
Модель LRWF, помимо повышения эффективности, в ряде аспектов упрощает техноло-
гическую реализацию основных положений концепции iPSE. В частности, она позволяет мо-
дифицировать описание прикладных пакетов на языке EasyPackage за счет формализации ме-
тодов коммуникации [5]. Возможности по управлению заданиями определяются в терминах
сигналов и слотов (модель издатель—подписчик) путем описания поддерживаемых слотов и
их соотношения с механизмами управления пакетом. В свою очередь, это расширяет язык
EasyFlow за счет добавления команд генерации сигнала с параметрами и возможностей:
объявления коммуникационной зависимости и обработчиков слотов, параметризации зави-
симости по управлению. Вместе с тем использование модели LRWF существенно усложняет
процедуру планирования, поскольку в этом случае производительность сильно зависит от ха-
рактеристик каналов связи и способов передачи данных.
Для проведения экспериментальных исследований применимости модели LRWF реализо-
ван прототип альтернативной системы исполнения для МИТП CLAVIRE (язык программиро-
вания — Erlang, платформа — OTP). Экспериментальные исследования в целом подтвердили
качественные оценки эффективности модели и целесообразность ее практического применения.
Работа выполнена в рамках проектов по реализации Постановлений № 218 и 220 Правительства Российской Федерации при поддержке ФЦП „Научные и научно-педагогические кадры инновационной России на 2009—2013 гг.“.
СПИСОК ЛИТЕРАТУРЫ
1. Deelman E., Gannon D., Shields M., Taylor I. Workflows and e-science: An overview of workflow system features and capabilities // Future Generation Computer Systems. 2009. Vol. 25, N 5. P. 528—540.
2. Lawenda M., Okoń M., Oleksiak A., Ludwiczak B., Piontek T., Pukacki J., Meyer N., Nabrzyski J., Stroiński M. Running Interactive Jobs in the Grid Environment // Parallel Proc. and Appl. Math. Lecture Notes in Computer Sci. 2006. Vol. 3911/2006. P. 758—765.
3. Бухановский А. В., Ковальчук С. В., Марьин С. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации // Изв. вузов. Приборостроение. 2009. Т. 52, № 10. C. 5—24.
4. Бухановский А. В., Житников А. Н., Петросян С. Г., Слоот П. М. А. Высокопроизводительные технологии экстренных вычислений для предотвращения угрозы наводнений // Там же. 2011. Т. 54, № 10. C. 14—20.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
100 А. В. Сысоев
5. Князьков К. В., Ларченко А. В. Предметно-ориентированные технологии разработки приложений в распределенных средах // Там же. C. 36—43.
Сведения об авторе Константин Валерьевич Князьков — НИИ Наукоемких компьютерных технологий Санкт-Петербургского
государственного университета информационных технологий, механики и оптики; младший научный сотрудник; E-mail: constantinvk@gmail.com
Рекомендована НИИ НКТ
Поступила в редакцию 15.05.11 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
К. В. КНЯЗЬКОВ
ОСОБЕННОСТИ РАБОТЫ С ПОТОКАМИ ЗАДАЧ ДЛИТЕЛЬНОГО ИСПОЛНЕНИЯ
В РАМКАХ КОНЦЕПЦИИ iPSE
Рассмотрены особенности применения модели потоков заданий длительного исполнения для повышения эффективности вычислительных экспериментов с динамически изменяющимися параметрами в распределенной среде. Ключевые слова: потоки заданий, задания длительного исполнения, методы коммуникаций, динамическое управление исполнением, усвоение данных.
Перспективы развития технологий решения мультидисциплинарных задач компьютерного моделирования в распределенных средах определяются возможностями абстрактного описания структуры композитных приложений в форме, не зависящей от низкоуровневой вычислительной архитектуры. Для этого применяется формализм потоков заданий (workflow, WF), описывающий сценарий вычислительного эксперимента в виде направленного ациклического графа, узлами которого являются задания, а ребра представляют зависимости (по данным и по управлению) между заданиями. В большинстве случаев система исполнения WF основывается на модели запуска в пакетном режиме, в соответствии с которой WF и его задания после запуска переходят в режим непрерывного исполнения без возможности их модификации и взаимодействия с ними [1]. Однако существует ряд задач, которые сложно адаптировать к пакетному режиму работы без снижения эффективности использования ресурсов. В основном они характеризуются непрерывным поступлением данных в распределенную среду через внешние источники, при котором условия эксперимента могут динамически изменяться в ходе функционирования WF без его перезапуска (см., например, [2]). В настоящей работе рассматриваются возможности использования расширенной модели WF длительного исполнения (long running WF, LRWF) для динамического управления процессом вычислений в облачной среде на основе многофункциональной инструментально-технологической платформы (МИТП) CLAVIRE (CLoud Applications VIRtual Environment), разрабатываемой в рамках концепции iPSE [3].
Модель LRWF имеет следующие характерные особенности:
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
98 К. В. Князьков — поддержка заданий длительного исполнения, время жизни которых ограничено не
условиями расчетов внутри WF, а временем работы самой распределенной среды; — поддержка коммуникации между заданиями одного WF во время исполнения; — возможность изменения WF во время исполнения за счет сценария WF, а также за
счет внешнего управления. На рисунке приведены схемы WF для задачи поддержки принятия решений в области
предотвращения наводненческой ситуации [4] c периодическим усвоением данных наблюдений. Слева (а) представлена схема WF пакетного исполнения, справа (б) — WF длительного исполнения. Рассмотрим подробно второй вариант (серые блоки на рисунке обозначают задания длительного исполнения). Задание Init отвечает за передачу в модель начальных условий; Updater отвечает за получение извне актуальных данных и передачу их в блок ассимиляции; Assimilation подготавливает данные для усвоения в вычислительной модели; Model — процесс моделирования динамики уровня и течений, результатом которого является прогноз; Visualization призван визуализировать актуальное состояние модели. Группа заданий Analysis—Model—Decision начинает свою работу по условию генерации сигнала, который может быть сформирован в задании Model вследствие изменения контрольного параметра расчета (достижения прогнозируемым уровнем значения, критического для наступления наводнения). Сценарий работы при этом следующий: запускается задача анализа (Analysis) текущей ситуации по данным модели, определяются варианты воздействий на моделируемую систему (которые могут нормализовать ситуацию), далее производится запуск нескольких заданий просчета модели путем варьирования параметров и в итоге вызывается модуль оценки и отображения возможных решений (Decision). Из схемы видно, что первым запустится задание длительного исполнения Model.
а) б)
Модель LRWF позволяет не только упростить представление WF для задач с динамически изменяемыми условиями расчета, но и более эффективно использовать имеющееся оборудование за счет сокращения накладных расходов при запуске однотипных задач в
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
Особенности работы с потоками задач длительного исполнения в рамках концепции iPSE 99
различных WF. Такой подход дает возможность производить автоматическую репликацию и
балансировку нагрузки на ресурсы на уровне системы исполнения.
Для оценки эффективности модели LRWF в терминах временных издержек расчета в
распределенной среде в качестве примера рассмотрим сценарий, когда существуют источник
последовательно поступающих данных и задание обработки этих данных, которое сохраняет
результаты обработки в хранилище (при этом данные должны быть обработаны строго по-
следовательно). Данные поступают частями объемом b, с постоянным периодом времени t
(что соответствует задаче усвоения, см. рисунок) непрерывно; общее время передачи данных
источником — T. В этом случае мера эффективности LRWF (по сравнению с пакетным WF)
определяется нижней оценкой временных издержек:
δ=
⎡T ⎢⎣ bt
−1⎤⎥⎦
(Tp
+ Tf ),
где Tp — время на подготовку к запуску одного задания (выбор ресурса, работа адаптеров ресурсов и пакетов), Tf — время на завершение задания (обработка результатов, очистка служебных ресурсов и пр.). Параметры в соотношении определяются по результатам измерения вре-
мени работы МИТП CLAVIRE. Так, для задачи предотвращения наводненческой ситуации в
среднем δ = 50—80 с, что ощутимо влияет на реактивность распределенной среды в целом.
Модель LRWF, помимо повышения эффективности, в ряде аспектов упрощает техноло-
гическую реализацию основных положений концепции iPSE. В частности, она позволяет мо-
дифицировать описание прикладных пакетов на языке EasyPackage за счет формализации ме-
тодов коммуникации [5]. Возможности по управлению заданиями определяются в терминах
сигналов и слотов (модель издатель—подписчик) путем описания поддерживаемых слотов и
их соотношения с механизмами управления пакетом. В свою очередь, это расширяет язык
EasyFlow за счет добавления команд генерации сигнала с параметрами и возможностей:
объявления коммуникационной зависимости и обработчиков слотов, параметризации зави-
симости по управлению. Вместе с тем использование модели LRWF существенно усложняет
процедуру планирования, поскольку в этом случае производительность сильно зависит от ха-
рактеристик каналов связи и способов передачи данных.
Для проведения экспериментальных исследований применимости модели LRWF реализо-
ван прототип альтернативной системы исполнения для МИТП CLAVIRE (язык программиро-
вания — Erlang, платформа — OTP). Экспериментальные исследования в целом подтвердили
качественные оценки эффективности модели и целесообразность ее практического применения.
Работа выполнена в рамках проектов по реализации Постановлений № 218 и 220 Правительства Российской Федерации при поддержке ФЦП „Научные и научно-педагогические кадры инновационной России на 2009—2013 гг.“.
СПИСОК ЛИТЕРАТУРЫ
1. Deelman E., Gannon D., Shields M., Taylor I. Workflows and e-science: An overview of workflow system features and capabilities // Future Generation Computer Systems. 2009. Vol. 25, N 5. P. 528—540.
2. Lawenda M., Okoń M., Oleksiak A., Ludwiczak B., Piontek T., Pukacki J., Meyer N., Nabrzyski J., Stroiński M. Running Interactive Jobs in the Grid Environment // Parallel Proc. and Appl. Math. Lecture Notes in Computer Sci. 2006. Vol. 3911/2006. P. 758—765.
3. Бухановский А. В., Ковальчук С. В., Марьин С. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации // Изв. вузов. Приборостроение. 2009. Т. 52, № 10. C. 5—24.
4. Бухановский А. В., Житников А. Н., Петросян С. Г., Слоот П. М. А. Высокопроизводительные технологии экстренных вычислений для предотвращения угрозы наводнений // Там же. 2011. Т. 54, № 10. C. 14—20.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10
100 А. В. Сысоев
5. Князьков К. В., Ларченко А. В. Предметно-ориентированные технологии разработки приложений в распределенных средах // Там же. C. 36—43.
Сведения об авторе Константин Валерьевич Князьков — НИИ Наукоемких компьютерных технологий Санкт-Петербургского
государственного университета информационных технологий, механики и оптики; младший научный сотрудник; E-mail: constantinvk@gmail.com
Рекомендована НИИ НКТ
Поступила в редакцию 15.05.11 г.
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2011. Т. 54, № 10