Проектирование сети для 3 — 6 стоек в ДЦ

Question

[sevmax]

Переезжаем с арендованных серверов в ДЦ с покупкой своего железа.
По серверам более-менее понятно, но по сети представление пока весьма расплывчатое, так как занимаюсь именно серверным администрированием, а не сетевым.
Проясните некоторые моменты, которые возможно являются даже базовыми в таких случаях.

Хостер дает нам питание и интернет. Все внутренние соединения, всю внутреннюю сеть надо сделать самому.
Cтоек будет от 3 до 6 для начала. Серверов порядка 60-70 штук.

На текущий момент думаю построить следующую логику сети:

2 WAN маршрутизатора (резервируют друг друга) -------> остальные свитчи.

Внутренюю сеть хочу сделать 10GbaseT для кластера баз данных и 1Gbps для всех остальных серверов.
Для 10GBaseT хочу взять Netgear M7100. Сетевый карточки на БД сервера — Intel E10G42BT X520-T2 10Gigabit Ethernet Card
Для соединения остальных серверов взять что-то вроде M5300-28G

Вопросы:
1. Надо ли что-то ставить в центр сети? Например, Netgear M7300 XSM7224S или объединить все свитчи через SFP порты на 10Gbps и замкнуть на WAN маршрутизаторы?
2. Какие граничные WAN маршрутизаторы выбрать?
3. Сетевые карты с двумя ethernet интерфейсами предназначены для аггрегации линков? Т.е. для приведенной Intel карты можно получить до 20Gbps на сервер?
4. Для IPMI брать отдельные свитчи со своей подсетью, которые будут отделены от основных?
5. Надо ли делать VLANы с учетом того, что серверная инфраструктура будет расти?
5. Как организовать failover в сети?

Любые дополнительные советы и рекомендации приветствуются.

Заранее спасибо!

UPD1:
Привязки и предпочтений вендоров никаких нет. Netgear привел для примеры, чтобы показать, что примерно нужно.
BGP трафик не планируется. VPN будет только один-два канала для административного доступа в сеть.
Структура трафика: веб-сайт с примерно 400k посетителей в сутки. Достаточно интенсивный трафик ожидается между серверами БД.
Остальные сервера уложатся в 1Gbps. Uplink 1Gbps. Трафик в среднем 300 с пиками до 700 Mbps.

Comments

[muzzle]

1. Рекомендации очень сильно зависят от бюджета.
2. Почему Netgear???

[muzzle]

Сетевые карты с двумя ethernet интерфейсами предназначены для аггрегации линков?

В первую очередь — это для экономии.
А аггрегация (тиминг) — работает не зависимо от того, на одной сетевушке эти порты или на разных.

[muzzle]

Помимо буджета — надо еще както представлять задачи, которые будет решать это все.
Не зная того, какие потоки данных, каких объемов, откуда-куда и все такое — оптимально не спланировать.

[sevmax]

бюджет открыт и еще не обозначен. Так что можно развернуться.
Netgear выбран в качестве примера.
Я ниже ответил какой трафик будет ходит по сети.

Answer 1

[Валентин]

1. Смотрите на Cisco 4900M — отличное решение как раз для кучи серверов.
2. Смотря какой объем трафика предполагается на аплинк. И что вам надо от маршрутизаторов. Может вам кучу VPN надо будет? А может BGP Full View? А может тупо статический маршрут?
3. Да
4. Не понял вопроса
5. Конечно надо. Как минимум для активного мониторинга ИБП отдельный Влан напрашивается сам. Да и для обращения К кластеру БД отдельная сетка напрашивается.
6. смотря failover для чего нужен. Ответ «для всего» не принимается.

А вообще, если бюджет не волнует, берите какую-нибудь 65-ю циску, пихайте в нее модулей с нужным количеством портов каждого типа и будет вам счастье. У нее все зарезервировано будет, если денег не пожалеете)))

Comments

[pavelsh]

4. Вопрос в том, нужно ли делать отдельную физическую сеть для управления IPMI карточками серверов.
Суть вопроса, как я понимаю, даже если основная сеть перегружена — мы не потеряем управления над серверами.

[Валентин]

Сделаете отдельным вланом, засунете в него управление для Ваших серверов, сетевого оборудования, ИБП.

[pavelsh]

Когда сеть забита, и отдельный vlan в транке забит будет, если не заниматься настройками qos.
Так что или отдельная физ сеть или vlan + qos

[sevmax]

1. Один 4900М будет достаточно? Или надо пару?
2. Просто статический маршрут на текущий момент.
3. Спасибо
4. Ниже уже пояснили.
5. У нас не будет своих ИБП. Хостер предоставляет гарантированное электричество.
6. failover нужен для обеспечения связности хостов при выпадении текущего активного свитча.
Это легко для приложений на уровне серверов. Как я уже писал выше, я занимаюсь серверами, и имею весьма общее представление о сетях.
Предполагаю, что должны быть решения для failover'а сети, так же как и для failover'а приложений.

[Валентин]

1. Ну вы посмотрите на то, сколько и каких портов вам надо. У нее на борту с ходу 8x10GE портов плюс платами добьете, платы есть на 20x1GE портов, поставите в нее 2 таких и хорошо. Если больше надо, вторую купите. Cisco работает хорошо — за 2 года ниразу не перезагружалась.
2. Если просто статический маршрут, то нафиг особо маршрутизатор не нужен, этой же 4900 и в качестве роутера запустите. Ну если конечно не надо вам внутри всякие сетевые протоколы и туннели мутить
6. Если нужен именно такой failover, смотрите в сторону стекирующихся железок. Но особо нужды нет. Вы берете хорошую основную железку с двумя блоками питания. Если ничего не произойдет форс-мажорного, то все будет хорошо. Повторюсь, Cisco работает хорошо и долго. У нас устройства в ядре отказывают только в том случае, если кто-то что-то криво настроить попытался. Ну или если крыша обвалиться))) Failover с сетевыми железками больше идет на уровне маршрутизаторов, там целая куча протоколов есть.

[Валентин]

Непосредственно свичи редко резервируют, резервируют провода между ними либо уже маршрутизацию

[pavelsh]

vvpoloskin, Это что получается. Бабахнется свитч (или там firmware менять будете) и не будет связи?

[Валентин]

часто ли у вас грохался? А пререзалитие прошивки раз в год вполне входит в пресловутые «99.999 надежности».

[pavelsh]

Я, честно говоря, не могу вспомнить чтобы у меня или у моих клиентов Cisco сам «грохался».
Но я точно знаю что пять девяток надежности это 5 с половиной минут в год простоя. Готовы такое обеспечить на одном свитче? Я бы не стал на такое соглашаться. А если срочное обновление, а если вентилятор внутри перестал вращаться? и т.д. и т.п.

К тому же, если Security update — то будете ждать нового года чтобы прошивку перезалить?

[Валентин]

Ну если реально надо пять девяток, то и стоимость такой системы будет дороже 6 стоек с серверами))) Как вы и сбрасывали ссылки ниже, надо переходить на 3-х уровневую модель сети и вбухивать 100500 мильонов. Наверно это решение больше подходит именно для ЦОДов больших, типа хостеров, но никак не для арендатора места.
Да и аплинк, как я понял, всего один физический шнурок.

[pavelsh]

Не будет дороже ну никак.

Стандартные тупые свитчи в паре на каждый Rack + два менее тупых 10G L3 свитч в стойке с серверами баз данных.
И первое и второй можно не Cisco. А можно и Cisco. И все будет работать и 5 девяток.

В нормальных датацентрах дают обычно 2 шнурка для Интернета. А если попросить — то хоть еще 10-ть (часто за отдельную плату).

Answer 2

[pavelsh]

1. зависит от того, как организованны потоки данных в вашем случае. Если между стойками планируется большой трафик — ставьте два коммутатора в центр
2. Какой у вас трафик? Сколько пакетов в секунду, что за трафик, tcp/udp — нужно больше подробностей. Если у вас провайдер вам дает интернет по ethernet, то зачем вам маршрутизатор? Что и куда маршрутизировать будете?
3. в теории. Надо проверять.
4. Как минимум делать отдельный приоритетный vlan. Я бы поставил отдельную физическую сеть
5. Надо сначала понять какие задачи на серверах, какие потоки данных, а потом можно и vlan-ы делать.
6. Хм. Традиционно. Посмотрите как обычно строят сети для датацентров.

Если что непонятно — спрашивайте еще.

Comments

[sevmax]

1. Два коммутатора в центр в стеке и к ним все подсоединить?
2. Трафик весь TCP, маршрутизатор разделения моей сети и сети провайдера.
3. По моему так можно. Текущий хостер предоставляет такую возможность.
4. Один VLAN для всех серверов?
5. Сервера разделены на группы: БД, кэш, API, WEB
6. Какие либо ресурсы порекомендуете?

Спасибо

[pavelsh]

1. Дайте количество серверов, которые планируете подключать. Отдельно напишите сколько серверов собираетесь подключать по 1G, сколько по 10G. Сервера с 10G в одной стойке стоять будут? Или хаотично, с учетом роста серверной фермы?
2. Будете сложный firewall наворачивать, или NAT? Нужен какой-то учет трафика кто куда ходил?
3. Текущий хостер отвечает что ПО на ваших серверах поднимет 20G агрегированный линк и железо на вашем сервере прокачает 20Gbit/s данных через свои шины и через указанные сетевые карты?
4. — 5. Если вам не нужно разделять сервера firewall-ом (или в будущем как-то делить их), то все можно загнать в один vlan. Если же тревожно и хочется web frontend-ы от web backend-ов отделить — то можно загнать в разные vlan. Благо что маршрутизария на wirespeed работает на L3 свитчах.
6. Почитайте вот тут дизайнерский документ от Cisco как следуюет делать датацентры.
www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/nx_7000_dc.html
www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/VMDC/2.2/design_guide/vmdcDesign22.html
Там не на все следует обращать внимание, но чтобы понимать о чем всё это — советую почитать.
А остальные ресурсы — это в гугл идти и спрашивать — нет единого места — есть кучка блогов где про это пишут.

Answer 3

[Ilya Evseev]

Коммутаторы для стоек, в которых нужен 10г — DGS-3420-28TC, dlink.ru/ru/products/1/1468_b.html

Для стоек с гигабитом — DGS-3120-24TC, dlink.ru/ru/products/1/1366_b.html (SFP+ отсутствует, т.е. если в ядре будет железка без гигабитных портов, то потребуется промежуточная).

Ядро — Extreme Summit X650, extremenetworks.com/products/summit-x650.aspx

Answer 4

[nemo0x2102]

Если вы сомневаетесь в своих способностях правильно рассчитать сеть для северной рекомендую к более опытным людям. Они проведут анализ вашей системы(потоки и тип трафика, пиковые нагрузки на критически важных сервисах и т.д.) и предложат несколько решений - требуйте не менее 2х. Вы выберите то которое больше устроит и они сделают проект по нему.
Далее садитесь и считаете:
берёте стоимость проекта, делите на 15 лет (средний жизненый цикл сети) и прибавляете ежегодную стоимость обслуживание собственной серверной инфраструктуры:
- зарплата сетевику
- каналы интернет (основной и резервный)
- система бесперебойного питания: замена аккумуляторных батарей и обслуживание дизеля
- системы охлаждения (например ТО кондиционеров)
- смартнет или аналог в зависимости от вендора на ключевые железки
- сигнатуры для IPS + защита от DDoS
- электропотребление всего это хозяйства

Полученный результат сравниваете с тем что вы платите за колокейшн. Только после этого принимайте решение о собственной серверной. Если суммы незначительно отличаются то, на мой взгляд, предпочтительно остаться в ДЦ.

Без знания вашей системы очень сложно дать конкретные рекомендации.

P.S. если несложно пишите к чему вы в итоге пришли это будет очень полезным дополнением к вопросу