На чем написать высоконагруженный api сервер?

Question

[OlshevskyIO]

Доброе время суток! Внимание, знатоки, вопрос: "Если бы перед вами стояла задача написать высоконагруженное api(пока что просто принимает данные с PC клиентов и кладет их в MongoDB), какую технологию вы бы выбрали?". У меня есть несколько вариантов:

• GoLang - подкупает своими горутинами
  
• Scala(Spray) - FP и акторы
  
• NodeJS -- удобно работать с MongoDB
  

Но хотелось бы услышать мнение людей которые решали подобную задачу.

Comments

[Виталий Филинков]

Странные какие-то "потому что"... Например, в чем заключается неудобство работы с монгой в го?

[Андрей Никифоров]

Высоконагруженный — это сколько запросов в секунду, например? Хочу понять масштаб конкретно вашего вопроса.

[Виталий]

Андрей Никифоров: а если 1 запрос в секунду на сервер? Это высокая нагрузка? А если я скажу что это перекодировка видео? Все относительно. Сервер может и 20,000 запросов в секунду обрабатывать и это НЕ будет высокой нагрузкой если это просто сброс данных в таблицу, например (логирование).

[Андрей Никифоров]

Виталий: Верно. Поэтому я и хочу знать, что автор будет считать высокой нагрузкой. Обстоятельства вроде бы ясны — принимаем запросы, кладем в монгу, если исходить из исходного вопроса.

[Виталий]

Андрей Никифоров: тогда правильный вопрос чем апи занимается внутри. Если это прослойка/роутинг между сервисами, то язык роли не играет. А если сложные вычисления, то конечно стоит подумать.

[Oleksiy Chechel]

В GoLang тоже очень удобно работать с MongoDB

Answer 1

[Пума Тайланд]

Пишите на чем умеете

Comments

[Oleg Shevelev]

Самый дельный ответ. Не знаете какой язык выбрать - значит не знаете ни один из этих языков достаточно хорошо. Значит надо узнать хотя бы один. Если не будет хватать - узнать второй и так далее... Не возможно прыгать из Node.JS в Golang и обратно попутно делая часть работы на Scala без должного понимания всех трёх языков программирования.

[Oleksiy Chechel]

Oleg Shevelev: ну я работал долгое время в ноде, понадобилось сделать производительное api - за неделю разобрался с golang, через две недели 10 микросервисов уже крутилось в продакшине, обрабатывая миллионы входящих запросов.

[Пума Тайланд]

Олексiй Чечель: когда человек не понимает архитектуру он такие вопросы не задает, да на горутинах реализация такая более нативная может получиться, но фейсбук на пхп до сих пор поди работает и ничего держит миллиард юзеров в день.

[Oleksiy Chechel]

Пума Тайланд: фейсбук еще в 2009-м вроде как начал свой php-код транслировать в с++ и компилить) Для этого разработали они HipHop) Не говоря уже о количестве серверов, которые держат этот миллиард в день)

[Пума Тайланд]

Олексiй Чечель: ххвм глобально в сто раз скорость кода не увеличил. и вроде он там ничего не компилит в си++

[Oleksiy Chechel]

Пума Тайланд: Я не про HHVM, а про HipHop

[Пума Тайланд]

Олексiй Чечель: мне кажется оно расшифровывается как Hip Hop Virtual Machine
вроде как фейсбук как раз в сторону hhvm пошел

[Oleksiy Chechel]

Пума Тайланд:
https://ru.wikipedia.org/wiki/HipHop_(транслятор)

[Пума Тайланд]

Олексiй Чечель: ну там как раз написано что они двинулись в сторону ххвм

[Oleksiy Chechel]

Пума Тайланд: верно, но hvvm это только виртуалка, где крутится уже хипхоп (я, если честно, в подробности не вникал, да и php как-то уже не интересен).
Вот здесь человек делится впечатлениями от хипхопа и пишет, что на его пробах производительность в 6 раз выше чем у апача) www.phphighload.com/2012/06/php.html
Ну фейсбуку было бы странно заморачиваться с написанием этой лабуды, если не было хоть какого-то прироста) Хотя всего в 6 раз, как-то да, не впечатляет)

[Пума Тайланд]

Олексiй Чечель: ну все так уж сильно радужно, выигрыш там не столько в скорости генерации страницы, а в потреблении ресурсов, то есть на том же железе можно держать намного больше юзеров.
Юзаю местами ххвм

Answer 2

[sim3x]

Пиши на пхп - так будет меньше ошибок, которые будут больше мешать чем производительность ЯП

Comments

[nirvimel]

Хороший троллинг.

[sim3x]

nirvimel: нет

[Andrzej Wielski]

sim3x: Вы это серьезно, да?

[Виталий]

Если человек php раньше в глаза не видел, то вряд ли на нем проще будет

[sim3x]

Andrzej Wielski: да

[sim3x]

Виталий: большая часть разработчиков задающие такие вопросы пишут на пхп

[Oleksiy Chechel]

sim3x: но это не значит, что ошибок у них меньше. Ошибок больше.

Answer 3

[uvelichitel]

Авторитетный бенчмарк.
В плане личностных предпочтений, я сейчас все пишу на Go, потому что нравицца.))
Нравицца - серьезный фактор, пока количество ваших PC клиентов не шкалит, facebook на PHP писали.

Comments

[Oleg Shevelev]

Надо вспомнить что сейчас многое на Golang или переписывается (теми же фейсбуками, вконтактами) или пишется новое уже на нём. Ещё лет пять и Golang будет таким же мейнстримом как PHP.

[Oleksiy Chechel]

Oleg Shevelev: значит придумают что-нибудь еще) Надо же что-то гнобить на хабре)

Answer 4

[Everything_is_not_so_bad]

Перед написанием высоконагруженного приложения важно правильно продумать архитектуру, выбрать метрики для замера производительности. Может, нужно вообще выбрать другую СУБД, продумав как оптимальнее доступ к данным. СУБД стоит подбирать также исходя из того на что больше упор: на операции чтения или записи.
Выбранная экосистема языка может иметь второстепенное значение.

Answer 5

[nirvimel]

Нисколько не ставя под сомнение авторитетность, приведенного uvelichitel , бенчмарка от techempower.com, хочу только напомнить, что это - бенчмарк для фреймворков. Когда задача стоит так: "производительность любой ценой!", то всем фреймворкам лучше подвинутся в сторону и не мешать.

Один только пример: эти парни добились скорости обработки 2 микросекунды на запрос-ответ даже не на голом железе а под JVM. Все фреймворки-чемпионы techempower-бенчмарка молча курят в стороне.

Comments

[⚡ Kotobotov ⚡]

интересный продукт.

Answer 6

[mrFreezbe]

Из опыта.
Очень не рекомендую Go и nodejs. Go - ужасен как язык (субъективно, мне на нем просто противно писать),
nodejs - требует очень больших усилий и внимательности при написании приложения что бы оно вело себя стабильно.
В итоге для себя я выбрал clojure.

Answer 7

[Виталий]

И на C++ извратиться можно при желании (rutracker почти полностью на нем написан).
Как человек, решавший подобную задачу, могу сказать что пишут на том, что лучше знают :)
И на Laravel и на Sinatra и на Golang и на Flask.
Высокие нагрузки мудрые дяди держат путем горизонтального масштабирования, а не смены языка :)

Comments

[nirvimel]

Мудрым дядям, ошибшемся изначально при выборе технологии, ничего больше не остается как только спасаться горизонтальным масштабированием.

[jaxel]

nirvimel: высоких нагрузок без горизонтального масштабирования не бывает.

[Андрей Кондратьев]

jaxel: Однако тут ещё стоит вопрос сколько в это горизонтальное масштабирование нужно будет инвестировать и от технологии этот вопрос будет зависеть.

[Виталий]

Андрей Кондратьев: Чаще упираются во внешние сервисы, в базу например. Язык вторичен. Большая часть времени в веб уходит на IO. Когда сервис упрется в язык, вы будете уже богаты :)

[Андрей Кондратьев]

Виталий: По большему счёту вы правы. Однако упираться в то, что "я тут умею немного N" тоже не аргумент.

Answer 8

[jaxel]

При больших нагрузках решающее значение имеет архитектура, а не язык. Пишите на том, что лучше знаете.

Comments

[Андрей Кондратьев]

С другой стороны если есть возможность (квалификация) разработать серьёзную архитектуру то и использовать другую технологию тоже будет не сложно.

Answer 9

[Александр Таратин]

vibed.org

Answer 10

[_ _]

Elixir. Фана куча. У меня от Go было чувство, как будто лимон сожрал, а тут прямо все здорово.
Вроде и эрланг, но вроде и по-человечески все.

Comments

[zoh]

тёплое с мягким.
гоу как бы язык общий, + типы.

[_ _]

zoh: В Elixir тоже неплохая система типов и паттерн-матчинг. И да, он тоже позиционируется как общий язык.

[zoh]

Раз он общий, тогда не подскажите как сделать простой цикл, или как сделать на нём итератор?
А система типов элексира наверняка позволит определить типа List[MyClass <: T] ?
патерн матчинг щас есть и на nodejs.

Answer 11

[Oleksiy Chechel]

Для golang даже код готовый дать могу )
pastebin.com/qwXgUXdJ

Но рекомендовать не буду) Просто для оценки поля боя)

Answer 12

[zoh]

а я вот не рекомендую браться за Scala+Akka только из-за фана если при этом важно время.
Я как то делал критичный по нагрузке проект и продинамил 1 мес.

Answer 13

[ZOXEXIVO]

Выбирай .NET Core.
Один из самых удобных языков - C#, runtime возишь с собой и он ни от чего не зависишь.
Лучшая на рынке IDE, в которой есть бесплатная редакция - Visual Studio
Go можно использовать, когда тебе нужно написать то, что в принципе невозможно на .NET - создать много легковесных потоков.