Правильное подключение серверов к ИБП?

Question

[alex_dredd]

Добрый день, уважаемое Хабросообщество.

Есть небольшой парк серверов(8 шт.) и вместе с ними 7 ИБП. Т.к. почти на всех серверах есть несколько БП, мы приняли решение подключать каждый сервер к нескольким ИБП, чтобы при поломке(например, умирании батарейки или выходе из строя электроники) одного из ИБП, сервера не выключались неожиданно из-за перепадов напряжения или кратковременного отключения света. Схема подключения показана ниже:


Белые прямоугольники – УПСЫ. Все APCSmart-UPS. Конкретная модель указана на схеме.

Красные круги – сервера с 1 Блоком питания.

Белые круги – сервера с 2-мя БП, работающими в режиме 1+1(работают одновременно оба, с распределением нагрузки)

Зеленые круги – сервера с 3-мя БП, работающими в режиме 2+1 (работают 3 одновременно, если один выходит из строя, то 2 остальных забирают нагрузку. С одним блоком питания тоже вроде работает, но знающие люди говорят, что это неправильно и может привести к проблемам)

Черные стрелки – подключения кабелей питания от серверов к УПСам.

Красные стрелки – подключения USBкабелей от компов к упсам. По этим кабелям УПС общается с сервером и, например, отправляет его выключаться, если заряд батареи ниже определенного уровня.


Хотелось бы узнать, есть ли в таком перекрестном подключении вообще смысл, делал ли так кто-то и какие есть подводные камни.

Спасибо за помощь

Answer 1

[Валентин]

Смысл определенно есть. Особенно, если правильно к эксплуатации упсов подходить. Ведь с ними нужно делать периодические проверки, осуществлять цикл заряда-разряда батарейки. Если сервисы критические, то это вполне логично, так как Вы отключете один ИБП для процедур, а работать серверы будут от другого. Но подключение сервера тремя питаниями мне уже кажется лишним.

Answer 2

[3vi1_0n3]

Смысл есть, я так делал. Главное посчитать нагрузку правильно. Для каждого ИБП считать нагрузку по подключенным оборудованию с учетом того, что нужен обязательно резерв. И да, надо делать по идее замену элементов каждые пару лет.
Но с таким подключением USB, как у вас, не совсем понятно.
Например, если выключен ИБП2, например, на профилактику, и рубанули электричество, то Serv3 алерт о падении заряда от ИБП3 не получит, зато получит Serv4, который собственно и отправится благополучно спать. При этом Serv3 спать отправится внезапно и для него неожиданно. И с остальными так же. Поэтому я бы, пожалуй, подумал, как это реализовать корректно. Либо программно, либо через COM-hub, либо еще как-то.

Comments

[Юрий Попов]

Если рубанут свет в процессе профилактики ИБП, то, я думаю, админы об этом узнают очень и очень быстро… :)

[3vi1_0n3]

Даже если быстро, может быть уже поздно :)

[alex_dredd]

ну у нас полчаса запаса приблизительно если свет отключают.

[Павел Загребелин]

Чтобы не было таких сюрпризов (алерт о падении приходит не на тот сервер), кмк, должна быть какая-то распределённая система оповещения: каждый сервер знает о топологии подключения и рассылвает алерты на соседей по бесперебойнику. Зная к каким упсам подключен, и получая алерты от соседей, сервер потушит сам себя, когда все его бесперебойники выйдут в офлайн и уровень заряда будет близок к критическому.

[3vi1_0n3]

Вообще это можно реализовать через nagios, например.

[alex_dredd]

Можете подробней рассказать?
Спасибо!

[3vi1_0n3]

Сильно подробно не расскажу, могу направление мысли задать.
Надо будет настроить мониторинг заряда батареи на хосте, который подключен к бесперебойнику. Соответственно, сделать плагин для нагиоса, который будет проверять статус заряда батареи. И последнее — сделать Event Handler, подробнее можно посмотреть здесь. И из скрипта хэндлера можно удаленно корректно выключать ту машину, которая мониторит батарейку и любые другие. Я бы еще порекомендовал предварительно почитать про NRPE.

Answer 3

[ZUZ]

Я бы добавил в связку Serv7+Serv8 третий ИБП, чтоб было всё равномерно.