Не хватает гигабитного канала на сервер?

Question

[Роман Скваж]

Есть кэширующий сервер (Varnish): по запросу берет данные с Amazon S3, запоминает на какое-то время и отдает клиенту. Столкнулись с проблемой, что не хватает пропускной способности канала в 1GBit. Пик нагрузки в течение 4 часов полностью забивает канал. Производительности сервера пока что хватает. В день отдаётся примерно 4.5TB данных. За месяц набегает больше 100TB.

Первая мысль — просто добавить еще один гигабитный порт и спать спокойно до тех пор, когда не будет хватать уже 2GBit (а это может произойти очень быстро), либо когда один сервер перестанет справляться.

А далее следует уже добавлять новые кэширующие сервера, но теперь потребуется балансировщик, который будет еще и направлять запрос по одному и тому же URL всегда на один сервер (чтобы не плодились копии одинаковых закешированных объектов).


Теперь вопросы:

1. На балансировщике ведь теперь потребуется полоса, равная сумме всех полос кэширующих серверов. Как тогда быть, когда просто больше не воткнёшь новых портов в балансировщик? Добавлять еще балансировщиков и разруливать через Round robin DNS?
   
2. Какие стандартные подходы существуют для решений таких проблем?
   
3. Кто нибудь может посоветовать хостинг-компании, которые помогут решить эту задачу? Интересует американский и европейский рынок
   

Answer 1

[YourChief]

а что, агрегирование каналов LACP нельзя у провайдера заказать?

Comments

[Роман Скваж]

Hetzner отказывается даже простой порт добавить к серверу. Они нам абузы шлют — им не нравится наш трафик. А за технологию спасибо. Уже в поисках хостера нормального.

Answer 2

[Виталий Перетятько]

Балансировщик может не прогонять через себя весь трафик, а через редирект перекидывать запрос на один из кеширующих серверов.

Comments

[Роман Скваж]

1. Задержка у клиентов возрастет
2. Хотелось бы кэши держать в закрытой локальной сетке + не надо покупать для них гигабит полосы в глобал
3. Не видел нигде у гигантов таких решений, возможно еще есть подводные камни, сразу незаметные

[Пума Тайланд]

Любая cdn практически так работает.

[Роман Скваж]

Например, какая?

Answer 3

[WebSpider]

На несколько серверов поделить контент не получится?

Comments

[Роман Скваж]

Получится. Он весь лежит на S3, это чисто кэширующие сервера (для экономии амазоновского дорогущего трафика), при чем объекты не изменяются со временем, т.е. кэшировать можно надолго.

Вы намекаете на то, чтобы на уровне приложения по ID объекта высчитывать, для какого именно сервера отдавать URL? В принципе это тоже самое, что и Consistent hashing у балансировщика, просто не затрагивается код приложения. Но плюс балансировщика в том, что на нём можно будет мониторить упавшие кэш сервера, и не посылать туда трафик. На уровне приложения это будет сделать труднее :(.

Answer 4

[Shedar]

Посмотрите LVS. IP Tunneling и Direct Routing варианты судя по описанию www.linuxvirtualserver.org/how.html решают проблему с узким каналом балансировщика, отдавая ответ через свои каналы.
К сожалению, на практике пока не сталкивался.

Comments

[Роман Скваж]

Спасибо. Изучим.

Answer 5

[cagami]

если честный балансировщик
то можно поставить ADX 1016
и можно будет спать спокойно
www.brocade.com/products/all/application-delivery-controllers/product-details/serveriron-adx-series/index.page

Answer 6

[Sergey]

А оптические 10G порты уже отменили?

Comments

[Роман Скваж]

Дело в том, что трудно найти хостера с такими фичами, к сожалению.

[equand]

Давно большинство уже предлагают.

[Роман Скваж]

По европе OVH советуют. А в Америке пока не нашли подходящего нам.

Answer 7

[Евгений Безымянников]

трафик, я так понимаю складывается из статики?

Comments

[Роман Скваж]

Да

[Евгений Безымянников]

Ну тогда картинки поделите по поддоменам, а их на разные сервера разделить.
при отдаче контента динамически менять поддомен.

imageXX.sitename.ru
XX — случайное число
причем домены с 1 по 50 допустим — это один сервер, остальное второе, если надо будет увеличить число серверов, то тупо dns записями рулим