Например, Бобцов

ОПТИМИЗАЦИЯ КЛАСТЕРА С ОГРАНИЧЕННОЙ ДОСТУПНОСТЬЮ КЛАСТЕРНЫХ ГРУПП

В.А. Богатырев, С.В. Богатырев, А.В. Богатырев

УДК 681.3

ОПТИМИЗАЦИЯ КЛАСТЕРА С ОГРАНИЧЕННОЙ ДОСТУПНОСТЬЮ КЛАСТЕРНЫХ ГРУПП
В.А. Богатырев, С.В. Богатырев, А.В. Богатырев

Определены состав и число (кратность резервирования) кластерных групп различной функциональной комплектации, обеспечивающие минимальную стоимость реализации системы при заданных требованиях по ее надежности. Ключевые слова: кластер, оптимизация, надежность, сервер.

Введение
В настоящее время для достижения высокой надежности и отказоустойчивости серверных систем широко используются кластерные архитектуры. При значительном числе серверов их объединение в кластеры может проводиться через многоуровневую коммуникационную подсистему древовидной топологии [1], содержащую коммутаторы верхнего и нижнего уровней (КВУ и КНУ). Серверные узлы разделены на отдельные кластерные группы (сегменты кластера) (рис. 1).

Рис. 1. Вычислительная система кластерной архитектуры с выделением групп серверов
При функциональной и/или параметрической неоднородности серверов надежность и эффективность кластерных систем зависит не только от кратности резервирования серверных и коммуникационных узлов, но и от вариантов объединения функционально неоднородных серверов в кластерные группы [210]. Исследованию эффективности вариантов объединения функционально неоднородных серверов в кластерные группы посвящена предлагаемая работа, в которой основное внимание уделено вариантам формирования кластерных групп, характеризуемых неполным функциональным набором серверов в каждой группе (сегменте), в результате чего возникает неполнодоступность групп для различных функциональных запросов.
Формирование кластерных групп функционально неоднородных серверов
При наличии n типов серверов по функциональному назначению возможны варианты формирования кластерных групп с объединением:  однотипных по функциональному назначению серверов [3];  разнотипных по функциональному назначению серверов всех n типов (полнофункциональные кла-
стерные группы серверов);  разнотипных по функциональности серверов при их неполном функциональном наборе в каждой
кластерной группе, с функциональной непересекаемостью различных кластерных групп [4];  разнотипных по функциональности серверов при их неполном функциональном наборе в каждой
кластерной группе, с функциональной пересекаемостью различных кластерных групп [4]. В последнем случае кластерные группы (сегменты) имеют ограниченную (неполную) доступность
для различных функциональных запросов. Выбор рациональных вариантов объединения серверов по кластерным группам должен проводить-
ся с учетом минимизации времени обслуживания запросов различных функциональных типов, максими-

Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 1 (71)

63

ОПТИМИЗАЦИЯ КЛАСТЕРА С ОГРАНИЧЕННОЙ ДОСТУПНОСТЬЮ КЛАСТЕРНЫХ ГРУПП

зации надежности и сглаживания деградационного влияния отказов серверного и коммуникационного оборудования на снижение функциональности, надежности и производительности системы.
Для решения задачи оптимального (рационального) построения серверной системы кластерной архитектуры требуется оценка ее надежности при различных вариантах объединения разнородных по функциональности серверов в кластерные группы. В работе анализируются кластерные системы с объединением в кластерные группы разнотипных по функциональному назначению серверов при допустимости неполного набора функциональных типов серверов в группах.

Надежность систем с функциональной неоднородностью кластерных групп

Выбор рациональных вариантов компьютерных систем кластерной архитектуры требует оценки надежности с учетом вариантов комплектования кластерных групп функционально неоднородными серверами.
В соответствии с [8] каждую кластерную группу (рис. 1), включающую коммутационный узел нижнего уровня и подключенные к нему разнотипные по функциональному назначению серверы, будем рассматривать как многофункциональный модуль, для которого (i)(j)[(i  j)  i   j  ] , где
1, 2 ,, n – ресурсы модуля, задействованные при выполнении функций f1, f2 ,, fn , а   базовое
оборудование общее при выполнении всех функций [47]. Отказ базового оборудования  приводит к отказу всего многофункционального модуля. Для исследуемого объекта к оборудованию  отнесем КНУ, а к оборудованию 1, 2 ,, n  серверы разной функциональности (назначения).
В соответствии с [7] будем считать заданными возможные варианты комплектования кластерных

групп по функциональному назначению серверов, характеризуемые матрицей

aij

,
nM

элемент

которой

аij  1 , если группа j-го типа комплектации содержит сервер, реализующий i-ю функцию, иначе аij  0 ,

j=1,2,…,M.

Матрица

ij

,
nm

характеризующая

функциональные

возможности

серверных

групп

системы,

формируется из матрицы аij с учетом числа (кратности резервирования) групп каждого варианта

функциональной комплектации m1, m2 ,..., mM .
В работе [7] предложена оценка надежности (вероятности безотказной работы) систем из многофункциональных модулей, а адаптация этой оценки к кластерным системам, в которых в качестве многофункциональных модулей рассматриваются кластерные группы, включающие коммутаторы и разнотипные по функциональности серверы, проведена в работе [8]:

MM

          P m1, m2,, mM

m1
 Ps0

 C C C Pm2 mM k1 k2 m1 m2

M  kj
kM j1 mM s1

 mj  k j

1 P j1 s1

j1

n

1  1  p k1ai1 k2ai2 kM aiM i

, (1)

k1 0 k2 0 kM 0

i 1

где k1, k2, , kM  число кластерных групп различной функциональной комплектации при исправности

входящих в их состав КНУ (возможно, резервированных); pi  вероятность работоспособности сервера

функционального назначения i-го типа; Ps0  1 (1 ps0 )r0 , Ps1  1 (1 ps1)r1  вероятности исправно-

сти групп коммутационных узлов верхнего и нижнего уровня при кратности их резервирования r0 и r1 и

вероятности работоспособности одного КВУ и КНУ, равной ps0 и ps1 .

Выбор функциональной комплектации кластерных групп

Рассмотрим системы, компонуемые из серверных групп, функциональная комплектация которых представлена матрицами aij вида A1 , A2 , A3 , A4 :
1 0 1 1 0 1 1 1 1 1 0 0
1 0 , 1 0 0 , 0 0 1 , 0 1 1 0 .
0 1 0 1 1 0 1 1 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 1 Если кратности серверных групп, представляемых столбцами матрицы A1 равны m1  8, m2  8 , матриц A2 , A3 равны m1  8, m2  m3  4 , а матрицы A4  m1  m2  m3  m4  4 , то матрицы ij nm имеют соответственно вид S1 ,S2 , S3 ,S4 :

64 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 1 (71)

В.А. Богатырев, С.В. Богатырев, А.В. Богатырев
1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0
1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 , 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 ,
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 , 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 .
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1
Во всех приведенных случаях общее число кластерных групп равно 16, а серверов  32, т.е. затраты на реализацию систем одинаковы. Результаты расчета надежности (вероятности работоспособности) рассматриваемых кластерных систем при ps0  ps1  p, p1  p2  p3  p4  p2 представлены на рис. 2. На рис. 2 кривая 1 соответствует надежности систем, комплектация серверных групп которых представлена матрицами S1 ,S4 , а кривые 2, 3  матрицами S2 ,S3; кривая 4 отражает разницу DP(p) вероятностей работоспособности систем, представленных матрицами S1 ,S4 .
Расчеты подтверждают, что надежность исследуемых систем зависит не только от надежности и кратности резервирования серверов, но и от вариантов их объединения в серверные группы. Расчеты показывают предпочтительность комплектации кластерных групп серверами разного функционального назначения, для которой разница построчных сумм матриц ij минимальна. При выполнении этой ре-
комендации предпочтительней является распределение серверов по группам, при котором число комбинаций расположения единиц в строках минимально.

Рис. 2. 1 – вероятность безотказной работы систем P(p) с матрицами S1 , S4 ; 2, 3 – то же для матриц S2 , S3 ; 4 – разница DP(p) вероятностей безотказной работы систем с матрицами S1 , S4
Оптимизация кратности резервирования серверных групп
В работе [7] поставлена и решена задача оптимизации, для которой при заданном наборе типов многофункциональных модулей (отличающихся функциональной комплектацией), представленном мат-
рицей aij , требуется определить состав и число m1, m2,..., mM модулей каждого типа комплектации,
обеспечивающих максимум надежности системы при ограничении на стоимость ее реализации C0 : P(m1, m2, m3, m4 )  max , C(m1, m2 , m3 ,, mM )  С0 . В работе [8] представленные модели [7] уточнены при рассмотрении в качестве многофункцио-
нального модуля группы функционально разнотипных серверов, объединяемых через коммутатор. В отличие от постановки задачи оптимизации по [7], определим состав и число m1, m2 ,, mM кла-
стерных групп различной функциональной комплектации, обеспечивающих минимум стоимость реализации системы при выполнении заданных требований по надежности P0 :
C(m1, m2 , m3 ,, mM )  min и P(m1, m2 , m3 , m4 )  P0 . Для структур по рис. 1 стоимость реализации системы вычисляется как
M nM
  C(m1, m2 ,, mM )  c0 (1 mj )  ci ( aij mj ) , j 1 i 1 j 1
где c0  стоимость коммутатора, ci  стоимость i-го типа сервера, M  число типов комплектации кластерных групп. Надежность системы определяется по формуле (1).

Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 1 (71)

65

ОПТИМИЗАЦИЯ КЛАСТЕРА С ОГРАНИЧЕННОЙ ДОСТУПНОСТЬЮ КЛАСТЕРНЫХ ГРУПП
Поиск минимума С(m1, m2,, mM ) проводится на основе перебора возможных значений (m1, m2,, mM ) . При этом задаем начальное значение стоимости системы максимально возможным Cmax (например, а=1000), а затем при переборе (m1, m2,, mM ) , если текущее значение стоимости меньше значения переменной а и удовлетворяет ограничению по надежности P0 , присваиваем переменной а текущее значение стоимости, иначе остается старое значение. Реализация такого поиска с использованием средств системы Mathcad-14 приведена ниже:

При этом

  С(m1, m2 ,, mM , P0 )



с0 (1

M

mj) 

n

M
ci (

aij

m

j

)

 

,

j 1 i1 j 1

if

P(m1, m2 , , mM )  P0 ,

 

Cmax , if P(m1, m2 , , mM )  P0.

В результате оптимизации структуры кластера при выбранной функциональной комплектации

кластерных групп можно определить минимум средств и кратность резервирования различных кластер-

ных групп, обеспечивающих заданную надежность кластера.

Приведем пример оптимизации при стоимости узлов c2  6, c3  2, c4  2, c0  1 (условных единиц,

у.е.) и вероятности их исправности ps0  ps1  0,9 ; p1  p3  0,7 ; p2  p4  0,9. При заданной предель-

ной надежности системы P0  0,9995 и комплектации кластерных групп в соответствии с матрицей A1

требуется 8 и 10 групп, представленных соответственно первым и вторым столбцами, при этом затраты

на построение системы равны 154 y.e.

Рис. 3. Зависимость минимальной стоимости реализации системы от требований ее надежности P0 :
1 – при комплектации системы, представленной матрицей A1 , 2 – то же для матрицы A4 .
Зависимость минимальной стоимости реализации системы от требований по ее надежности P0 при комплектации групп серверов, представляемых матрицами A1 , A4 отображена кривыми 1 и 2 на рис. 3. Расчеты (рис. 3) показывают, что требуемый уровень надежности в зависимости от исходной функциональной комплектации кластерных групп может быть достигнут при различных затратах на ее построение.
Заключение
Таким образом, на основе адаптации модели надежности вычислительных систем из многофункциональных модулей [7] проведена оценка надежности и оптимизация структуры компьютерных систем кластерной архитектуры при объединении серверов различного функционального назначения в кластерные группы. Полученные результаты могут использоваться при разработке компьютерных систем кластерной архитектуры, в частности, при определении оптимальных вариантов объединения серверов различного функционального назначения в кластерные группы, при минимизации стоимости реализации системы, при обеспечении требуемого уровня ее надежности.
66 Научно-технический вестник Санкт-Петербургского государственного университета
информационных технологий, механики и оптики, 2011, № 1 (71)

А.А. Ожиганов, П.А. Прибыткин

Литература

1. Ретана Ф. Принципы проектирования корпоративных IP-сетей.  М.: Вильямс, 2002.  368 с. 2. Богатырев В.А. Оптимизация отказоустойчивых кластеров с неполнодоступностью узлов и неодно-
родностью потока запросов // Информационные технологии.  2008.  № 2.  С. 3036. 3. Богатырев В.А. Оптимальное резервирование системы разнородных серверов // Приборы и системы.
Управление, контроль, диагностика.  2007.  № 12.  С. 3036. 4. Богатырев В.А., Богатырев С.В. Объединение резервированных серверов в кластеры высоконадеж-
ной компьютерной системы // Информационные технологии.  2009.  № 6.  С. 4147. 5. Богатырев В.А. Надежность вариантов размещения функциональных ресурсов в однородных вычис-
лительных сетях // Электронное моделирование.  1997.  № 3.  С. 2129. 6. Богатырев В.А. Отказоустойчивость распределенных вычислительных систем динамического рас-
пределения запросов и размещение функциональных ресурсов // Наука и образование: электронное
научно-техническое издание.  2006.  № 1 [Электронный ресурс].  Режим доступа: http://technomag.edu.ru/doc/56860.html, свободный. Яз. рус. (дата обращения 1.02.2010). 7. Богатырев В.А. Метод оценки надежности вычислительных систем при функциональной неоднород-
ности компьютерных узлов // Приборы и системы. Управление, контроль, диагностика.  2006. 
№ 12.  С. 2022. 8. Богатырев В.А. Оценка надежности и оптимизация комплектации вычислительных систем при ре-
зервировании функционально неоднородных компьютерных узлов // Информационные технологии.
 2007.  № 5.  С. 4147. 9. Богатырев В.А., Богатырев С.В. Надежность компьютерных систем при объединении серверов в кла-
стерные группы // Информационные технологии моделирования и управления.  2009.  № 4. 
С. 548552. 10. Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых ком-
пьютерных систем // Научно-технический вестник СПбГУ ИТМО.  2009.  № 5.  С. 9297.

Богатырев Владимир Анатольевич
Богатырев Станислав Владимирович Богатырев Анатолий Владимирович

– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, доктор технических наук, профессор, Vladimir.bogatyrev@gmail.com
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, аспирант, realloc@gmail.com
– Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, ganglion@gmail.com

Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, № 1 (71)

67