На чем писать клиент-сервер с 10 000+ онлайном и 36 000 000 запросов в час?

Question

[ruboss]

Всем привет!
Разрабатывается проект под мобайл на phonegap ( android, ios, wp8 )
В приложении сервис, который работает foreground. При этом выполняется большое количество запросов к серверу.
Запросы select, update, insert.
Так как сервис люди оставляют на ночь и не выключают днем, то возникает достаточно большая нагрузка на сервер.
Запросы с приложения отправляются через AJAX а на сервере стоит Apache2 и mysql.
Формат обмена данными - json.

Какое будет найболее легкое и быстрое решение? Может лучше делать постоянный коннект через websockets & Node? Или там nginx + php-fpm?

Comments

[Влад Животнев]

Нагрузку измеряют в запросах в секунду, а не в час.

Answer 1

[romy4]

сперва достигни ©
апач такие нагрузки выдерживает если чо. а ещё можно и нужно балансер прикрепить, но потом.
это вопрос в пустоту. ни инфы про то _сколько_ инфы должно передавать ни с каким интервалом и т.д.
ящетаю делайте как-нибудь, а потом уже будете менять и модифицировать

Comments

[ruboss]

Спасибо за ответ, но делать как-нибудь не подходит. Этот сервис будет взят за основу еще нескольким схожим. Инфа в раене 300 байт, от 1 пользователя где-то раз в секунду.

[romy4]

ruboss: 1. вы пиковой нагрузки ещё через год не достигните, а сервис уже должен работать. 2. как-нибудь настроить сервер, а не код. взять в руки калькулятор и посчитать среднюю нагрузку. 3. mysql много и очень много выдерживает. всегда и везде производительность достигается за счёт кеширования. но если вы не умеете настраивать правильно индексы, то грошь-цена.

пс. меня вобще удивляют такие вопросы: на чём писать супер-гига-нагруженный сервис. бля, ребята, вы начните, а когда будут сложность — обращайтесь

[ruboss]

romy4: у меня было уже такое, это перезапуск по сути. На счет индексов, это да...

Answer 2

[Walt Disney]

Выше писали про проблему 10к, не заморачивайтесь эта проблема была озвучена 10 лет назад, когда интернет, софт и железо были сильно другими.

Мне кажется вы не в ту сторону смотрите. Вам намного проще научиться раскидывать нагрузку по 2-3-4... серверам, с тем, что есть. Это даст вам в итоге, переваривание любого трафика, только подкидывай денег на сервера.

А уже потом вы можете оптимизировать стоимость владения этими серверами переписывая софт, меня базы и фронт энды. Так как переделывание/переписывание вам скорее всего поднимет производительность максимум в 2-3 раза, если у вас всё плохо в 10, а потом окажется что этот 10 кратный рост может отрабатывать только на 10 GB интернет каналах и ssd дисках на которые нет денег или они деньги есть но производительности одной железки не хватит уже через полгода.

маштабируйтесь

Answer 3

[abcyu]

"На чем" - не правильный вопрос.
Ничего страшного для используемых вами технологий в такой нагрузке нет.
PHP и Facebook использует. MySQL и mail.ru использует.

Нужно правильно архитектуру спланировать.
Очень здорово снижает нагрузку правильное использование кэширования в оперативной памяти
habrahabr.ru/search/?q=Tarantool

Answer 4

[index0h]

10k rps не хило. 1 сервер этого в продакшне не выдержит. Есть даже известная проблема 10к подключений.
Основная задача при проектировании подобной системы - синхронизация и распределение нагрузки.
Легкое и быстрое - это не те слова, что тут применимы)) надежное и производительное - ближе к телу.
Websockets не сжимаются, могут быть проблемы по трафику.

В общем. На ваш вопрос невозможно ответить без детального брифа (тз я так понимаю надо еще составлять).

Comments

[ruboss]

Спасибо, какая информация еще нужна, чтобы понять? План действий такой:
1) Пользователь берет задания с сервера ( в раене 100 штук) это 10 кб
2) Выполняет их в цикле, после выполнения каждого задания отправляет на сервер "я сделал" и если задание еще есть - получает оплату, которая заносится в бд и ответ от сервера ( это действие раз в 5 сек, по трафику это 100 байт туда и 20 обратно)
3) После выполнения всех заданий идем к 1 пункту
Хотелось бы со старта оставить php+apache+mysql(innodb) допустим до 1к запросов в секунду

[romy4]

вы пробовали решать проблему 10к? я пробовал. даже писал для этого свой app-сервер под это дело. Не так страшен чёрт, как его малюют. Это проблема кривых рук всегда

[index0h]

ruboss
Вашим самым нагруженным сервисом будет бд. 1к rps запросов разделить это задача. Что бы это сделать нужно точно знать что за задачи будут выполнятся.
На LAMP стеке даже не думайте про то, что сервер будет один.
Ваша ошибка в том, что вы ожидаете конкретный ответ здесь, не давая полный список требований.(40 страниц это вполне ок). Очень рекомегдую нанять программиста (синьйора), для составления тз.

romy4
Пробовал. Собственно и в чем проблема?)) Нагруженный сервис как правило бд, а не система бизнес логики. 10к процессов спокойно могут сожрать цпу, но это не сравнимо с нагрузками на io жесткого диска, даже ssd.

[romy4]

index0h: нет проблем в 10к, когда они все в очереди ждут своего ответа от бд

[index0h]

Я не о том)) пусть ждут не проблема, бд должна справляться с ними.

[index0h]

RU
У вк 7 лет назад было свыше 15000 серверов, я понимаю, это мелочь. Топикстартер судя по вопросу надеется на что-то на порядки дешевле.

Как показывает практика - излишний оптимизм хуже преувеличения проблем)))