Какой язык выбрать для api сервера?

Question

[TheMrViper]

Доброго времени суток.

Прошу вашей помощи и совета, занялся проектом, и делаю веб часть для него.
В наличии есть сервера, на которых все будет стоять.

Не могу выбрать для себя язык/языки на которых писать сайт и api сервис(

Написать нужно две части:
Сайт для пользователей.
Api сервер, который будет отвечать на запросы с сайта, они будут доступны только самому сайту, пользователи даже знать об них не будут.

Требования:

Сайт буду просматривать пользователи, и делать всякое разное. он должен быть максимально быстрым.
Api будет выполнять ресурсоёмкие задания: вычисления, запись из бд в файл и наоборот, и прочие функции которые не выдержит сайт. Api обязательно должно быть многопоточным, ни об какой асинхронности речи идти не может, оно должно уметь обрабатывать много и сразу.

Писать все в одном месте не подходит т.к. много сайтов будут обращаться к api серверу.


С начала начал писать так:
Сайт на PHP - на который заходили пользователи
Api на С# - который принимал запросы от сайта и отвечал ему.

Но если честно мне в самом начале эта связка не понравилась, не знаю почему.
Сайт и api сервер могут общаться на любом протоколе, лишь бы его удобно было реализовать на выбранных языках. В случае с тем что я написал, они общались просто, API принимал и отдавал JSON.

Вот примерная схема как должно быть все устроено:


Бд сайта(та которая сверху) может быть в принципе любой, лишь бы быстрой.
Хотя предпочтительней MySQL ибо очень к нему привык.
Спасибо и надеюсь на Вашу помощь.

Answer 1

[index0h]

1. Для серьезных вычислений вам может понадобиться целый кластер + ***MQ для организации очереди.
2. Для длительных по времени / больших по оперативке вычислений - php не совсем торт. PHP Hypertext Processor, но про этот факт почему-то куча народу забывает.
3. С++ стоит использовать если вы сможете аргументировать почему)).
4. В принципе рекомендую посмотреть в сторону Golang.

Comments

[TheMrViper]

1 кластер и прочие вещи организовать не проблема.
2 я и стараюсь все это вынести в отдельный апи сервер который по командам будет все делать
3 быстрота, но не удобность работы с MySQL, потоками, JSON.
4 golang видел и даже пробовал, не совсем понимаю как не нём делать потоки, там какие то не понятные горутины и т.д. а так то он подходил мне по всем параметрам, кроме того что его нужно учить.

[TheMrViper]

Поставлю Вам вопрос так, допустим нужно будет создать 100 потоков из них 90 быстрые,- запись/чтение из базы, 10 ресурсоёмкие,- чтение/запись более 100 000 строк, и запись или чтение их из файла. Не будет ли голанг тормозить свои микропотоки(я про те потоки которые не ресурсоёмкие) из за больших потоков?

[index0h]

Ну, тут все зависит от того, как вы блокировки сделаете))
Самое близкое к понятию горутина - это нить. Переключением между ними занимается сам golang и делает это очень быстро. Так что вообще говоря не должен.

На счет сложных потоков: тут многое зависит уже от системы ввода/вывода, если эти 10 потоков сожрут hdd - остальные 90 если даже на Pure С будут написаны, все равно тормозить будут.

[TheMrViper]

index0h: не представляю себе как можно сожрать весь HDD

[index0h]

Легко)) 16к в секунду и даже небольшой кластер мемкешей подует подтормаживать))

[TheMrViper]

index0h: Пришла такая идея, для того что бы не гонять базу, сделать свою, которая будет работать с файлом конкретно, по его структуре, так ничего гонять не надо, когда надо добавить что нибудь, просто загрузка файла по структуре, вставка в нужное место, и сохранение, получается что файл всегда будет один и тот же, его не надо будет загружать в БД, он будет БД. Как Вам такое? Может что то посоветуете, хотелось бы выбрать язык, с такими характеристиками: мощный сервер, удобная работа с БД, удобная работа с файлами, загрузка выгрузка, удобные массивы, что нибудь подобное массивам на пхп, но никак не пхп, а нативное.

[TheMrViper]

Да и вообще хотелось бы удобный ЯП, сервер что бы держал до 500 одновременных соединение, так же что была возможность создавать демон для линукса без проблем, ну и он выполнял ресурсоёмкие задачи, это будет его приоритетом, отвечать сайту, а сайт пользователю он будет только в 50% случаях.

[TheMrViper]

П.С. если можно сообщите какие нибудь контакты с Вами, предпочтительней Ася или Скайп, много вопросов по ходу дела возникло.

[index0h]

>> Может что то посоветуете, хотелось бы выбрать язык, с такими характеристиками..
Эх, мечты, мечты)) Вы смотрите на язык, как на целую эко-систему, что не совсем верно.

>> Пришла такая идея, для того что бы не гонять базу, сделать свою, которая будет работать с файлом..
Вы можете конечно такое создать, но каков будет профит? Тут все очень зависит от конкретной бизнес логики. И не факт, что у вас получится лучше, чем уже существующие решения.

>> сервер что бы держал до 500 одновременных соединение...
Просто 500 соединений, эт как бы уже скучно)) habrahabr.ru/post/123154

skype: index0h

Answer 2

[Viktor Vsk]

Сайт буду просматривать пользователи, и делать всякое разное. он должен быть максимально быстрым.

Преждевременная оптимизация. Сайт для пользователя будет быстрым, если будут учтены все нюансы фронтенда (кеширование, минификация, спрайты, разные поддомены для ассетов...), а на сервере - правильно настроено кеширование и, где нужно, очереди.
Разделение на разные приложения - это просто часть архитектуры, которая не обязательно должна удовлетворять требованиям производительности.

Api будет выполнять ресурсоёмкие задания: вычисления, запись из бд в файл и наоборот, и прочие функции которые не выдержит сайт.

API не делает задания. А вычисления и запись из бд в файл - не являются ресурскоемкими операциями в общем случае. Да и сайт их обычно тоже не производит. В таком контексте сайт - это, скорее, фронтенд. А вычисления будут производиться на сервере.

Api обязательно должно быть многопоточным, ни об какой асинхронности речи идти не может, оно должно уметь обрабатывать много и сразу.

Тут вообще не понял. Многопоточность зависит от типа и настроек вебсервера (например, который стоит на nginx-ом). Чем не угодила асинхронность - тоже не понятно. И как она зависит с возможностью обрабатывать много и сразу - так же неясно. Очень упрощенно можно сказать, что с помощью асинхронности можно создать у пользователя впечатление, что сайт реагирует мгновенно (работает очень быстро)

Возможно, это все потому что 3 (4) часа ночи и вы переварили очень большой объем информации. Тогда попробуйте конкретизировать.

Если по существу:
1. Неважно, какой язык выбирать. Тот - который лучше всего знаешь. На любом языке можно реализовать что угодно. Большинство "производительности" достигается не за счет быстродействия стандартной библиотеки языка, а за счет кеширования, оптимизации sql запросов, настройки веб-сервера и базы данных и использования очередей.
2. Видимо, для вас важен вопрос: "Стоит ли разносить API сервера и клиент приложения на разные приложения, языки, инстансы?". Здесь ответить сразу не получится, потому что все зависит от задачи. Смотря как вы будете использовать свои инстансы. Какие вычисления будут проводиться и т.д. - больше конкретики по предметной области.

Comments

[TheMrViper]

1 Лучше всего знать можно что угодно, главное хотеть и учить)
2 Скажем так, сайт я буду писать на PHP, но сторону сервера на PHP никак не реализовать, разве что делать модули для PHP на С++. Но это не рентабельно, сервер будет жрать много памяти и делать лишних дел( я про протокол http, который по сути не нужен). Вычислений там будет мало, больше работы с другими серверами, чучуть записи в БД, больше чтения из БД, ну и работа с файлом.

[TheMrViper]

Я не хочу писать АПИ Веб-Сервер, для чего это? таскать лишнюю и не нужную инфу.
Асинхронность не угодила тем что операции могут длится по 5-6 секунд, и что тогда все люди замрут на 5-6 секунд? тоже не подходит

[Viktor Vsk]

TheMrViper: уже 3 не часа ночи, а у вас все равно сумбурное изложение.
Протокол http не делает сам много лишних дел
Апи не таскает само по себе ненужную информацию
Асинхронность как раз и придумана для того, что бы никто не замирал на 5-6 секунд
Если у вас очень много вычислений, не связанных с пользоваелем, то никто не заставляет писать ни модули к пхп, ни модули к нджинксу. В обещм случае вы можете обработать запрос от пользователя на том языке, что проще всего для вас и вызвать:

exec("/bin/my_heavy_executable -params".$user_params)

как-то так на пхп.

Я не хочу писать АПИ Веб-Сервер, для чего это?

Вы об этом написали в заголовке вопроса.

[TheMrViper]

Виктор Выскребенцев: Я написал что хочу АПИ Сервер но никак не Веб, для сервера можно реализовать много других протоколов.

[TheMrViper]

Виктор Выскребенцев: Про асинхронность, на ноде пробовал писать, и чтобы все реализовать красиво и без тормозов, пришлось бы убить её сущность, т.е. создавать поток, ибо все операции которые предстояло делать было блокирующими. Можно бы было писать все через асинхронные модули для бд, работы с файлами, но маштабируемость так себе бы была.

Answer 3

[vsuhachev]

Фактически вы создаете 2 отдельных приложения. Оба приложения могут быть написаны на одном и том же языке, если нравится/знаете PHP - пишите все на нем. Для выполнения длительных ресурсоемких задач используйте очереди . В любом случае одновременно использовать разные стеки технологий (PHP и .NET) без веских на то причин не рационально, лучше работать в одном стеке.

Comments

[TheMrViper]

Не могут они бить написаны на PHP, для сайта еще куда не шло, но на стороне сервера операции занимают по 2-3 минуты, хотя после перевода на Шарп они стали занимать по 2-3 секунды

Answer 4

[sakuradaj]

Сайт буду просматривать пользователи, и делать всякое разное. он должен быть максимально быстрым.

должен быть максимально быстрым.

Насколько именно быстрым? Не очень понятно чем обуславливаются такие требования. Не исключено что вы занимаетесь преждевременной оптимизацией.

С начала начал писать так:
Сайт на PHP - на который заходили пользователи
Api на С# - который принимал запросы от сайта и отвечал ему.
Но если честно мне в самом начале эта связка не понравилась, не знаю почему.

Пока не вижу чем вызвана необходимость использовать два разных языка для вашего приложения, мне кажется это избыточным, от этого больше головной боли и путаницы.

Вообщем я бы писал бы на том языке/фреймворке с которым больше опыта и тут довольно равнозначны php, python, ruby, etc... и может какие-то другие новые вроде Go иди node.js, не суть.

Если хотите скорости то делаете части вашего приложения горизонтально масштабируемыми (то есть например можно запустить 10 копий вашего приложения на разных серверах и архитектура его будет такова что все будет работать нормально).
Плюс как писали тут думать больше не о языке, а об оптимизации базы данных и взаимодействий с ней, кешированием в нужных местах, обычно там самые узкие места.

Comments

[TheMrViper]

С пхп врятли получится горизонтально масштабировать. И он не подходит он делает некоторые операции по 2-3 минуты, самые трудоёмкие операции у меня написаны на с++, шарп, пхп. пока что побеждают С. Ну оно и понятно.

[sakuradaj]

TheMrViper Какого рода эти операции? Какие-то математические расчеты? Операции с массивами? Или c IO (чтение файлов например)?

[TheMrViper]

Jun Sakurada:
1. Это общение с игровым сервером( там есть свой протокол который еще нужно организовать)
2. Запись в бд новых пользователей( по сути не много операций для записи)
3. Перенос некоторых бинарников в бд(ибо очень хочу реализовать Веб-Редактор для этих файлов, и придумал способ записать их в БД, а потом после изменений компилировать назад, читая уже новые данные из БД.
4. Должен быть встроенный крон-таб для выполнения разных задач, эти задачи перечислены выше.

По своей сути это будет что то среднее между прокси и АПИ сервером.
Но оно должно быть быстрым

[TheMrViper]

пришла вот только что идея использовать БД NoSQL, ибо можно удобно все хранить, создав обьекты для файлов которые нужно читать потом записать их в бд, и когда нужно скомпилить, по сути должно быть быстрее чем простая БД.

[TheMrViper]

хотя, бред, не красиво каждый раз при изменении/добавлении/удалении одного поля трогать весь файл,

Answer 5

[Александр Аксентьев]

На чем умеете на том и пишите. А на сколько быстро оно будет работать зависит от того как хорошо сделаете.

Но если надо прям что-то совсем серьезное вычислять, то наверно лучше выбрать python(django)/ruby(onrails)
Пожалуй это достаточно быстрые варианты.

Демон на си(каком-нибудь) тоже быстрый вариант при правильном подходе

Comments

[TheMrViper]

Умение не проблема, выучить можно все что угодно.
про демон думал тоже но не на с а на с++

[TheMrViper]

В строну питона и руби на рельсах, смотрел пол часа назад. тут дело в производительность, если уж использовать то нативное как golang или с++. ибо python, ruby, php, C#. Это все интерпритация. А я пытаюсь от неё отказаться.

[Сгущенка-тян]

TheMrViper: если не будет задач сложных математических вычислений, то в большинстве случаев узким местом станет БД

[TheMrViper]

wing_pin: БД можно подстроить)

[kliss]

C# - интерпретация? Ну-ну. :)

Answer 6

[TheMrViper]

Только что возникла идея написать модуль для nginx, скажите насколько это бредово.
Так же не против бы был принять что то типа, php c вставками на с/с++. Вроде удобно и производительно, но все равно не то что нужно(
Так можно сделать с python, ruby. Тогда может что то бы получилось, но если уже и писать на с++ то все и сразу.

Answer 7

[Sergey Romanov]

Сайт - AngularJS
API - PHP/C#/Node - любой что удобней.

Answer 8

[Егор Казанцев]

Вам не API нужно а Gearmand

Answer 9

[Mak1012]

Мне кажется вы слишком далеко закопались, и слишком торопитесь.
Начните сначала, с постановки задачи - что вы хотите сделать?
Вам подскажут как это лучше делать.
Подозреваю, на первые год-два вам и одного сервера хватит,
ну максимум, сервер SQL разместить на отдельной железке.

Answer 10

[Александр Дубина]

Пиши на си шарпе и не парся. кстати что то я асинхронно и многопоточно не понял. в большинстве случаев async более чем достаточно, или там видео в реальном времени будет обрабатываться?