Какой язык программирования лучше для создания асинхронного api и асинхронной работы с бд?

Question

[Тимофей]

Хочу создать сервис который сможет подключаться к различным базам данных и передавать содержимое таблиц через api, потоки данных буду очень большими поэтому нужна очень хорошая производительность. Подскажите какой из языков программирования лучше выбрать, про сложность обучения писать не нужно.

Comments

[Wispik]

Очередной холивар-вопрос, на который нет ответа. Тебе сейчас перечислят все ЯП, на которых пишут апи и будут правы. Тут вопрос не в ЯП, а в навыке. Если уметь, то можно на чем угодно написать

[d'Ivan]

сервис который сможет подключаться к различным базам данных и передавать содержимое таблиц через api

Какое-то невнятное задание. Нужен ли стриминг данных с БД? Или это типа Adminer?

Answer 1

[Saboteur]

С таким подходом по задаче - любой.
Хотите конкретики - пишите конкретику.
Большие потоки данных очень растяжимое понятие. Кому-то и 100 мб большой поток, кому-то терабайт средненький.
Тут вообще вопрос не про язык, а про архитектуру, потому что можно даже на батниках написать сервис, и будет работать, если его правильно масштабировать.

Comments

[Тимофей]

Таблицы +- на 20 миллионов записей, зачастую это будут распаршенные xml файлы весом от 7gb. Архитектура планируется REST, если знайте какую то другую которая будет лучше подходить расскажите. Сам сервис будет так сказать прокладкой между бдэшками и кучей других сервисов.

[Сергей Горностаев]

Тимофей, REST - это лишь один из множества аспектов архитектуры.

[Тимофей]

Можете подсказать какие нибудь материалы для изучения?

[Saboteur]

Таблицы +- на 20 миллионов записей, зачастую это будут распаршенные xml файлы весом от 7gb.

Ну 20 милионов записей и sqlite потянет с на шелл скриптах.
Вопрос в том, сколько запросов в секунду, какой тяжести и размеров запросы.

Нужно делать концепт, писать нагрузочные тесты, и проверять устраивает ли вас производительность.
Смотреть какое железо по ценам подходит.
Нельзя на пальцах такое сказать даже примерно, так как размер таблиц не всегда говорит о производительности.

rest это не то, что подразумевается под архитектурой. Архитектура - это совокупность технологий и платформы на котором все это крутится, это взаимодействие этих технологий. Это выбор сколько и каких компонентов в сервисе, как компоненты взаимодействуют друг с другом.

Если где-то тормоза, то не всегда нужно менять весь сервис, а только это маленький компонент, который может быть легко масштабировать как микро-сервис

Answer 2

[Everything_is_bad]

Тут не язык важен, а опыт проектирование подобных систем. По вопросу видно, что его у тебя нет, так что два варианта, или ищешь специалиста, или сам потихоньку, через страдания и боль, получаешь этот опыт, берешь ЯП, который ты лучше всего знаешь, пишешь MVP, гоняешь под нагрузками, устраняешь узкие места, повторяешь это до приемлемого тебе результата. Первый способ в несколько раз быстрее второго. Второй способ со значительно меньшей вероятность гарантирует успех.

Comments

[Тимофей]

Вы правы, опыта в таком роде проектов у меня ноль, можете посоветовать что то для обучения?

[Saboteur]

Для обучения можно сделать этот проект, набить шишек, и потом переделать.
Я не знаю как учить архитектуру, это множество аспектов, которые нужно пробовать на практике, так как одинаковых крупных проектов практически не существует.

[Everything_is_bad]

Тимофей, опыт быстрее набирать если работать в команде где разрабатывают подобные проекты, в одиночку набор опыта будет очень долгий.

[Тимофей]

Saboteur, Это и есть такой проект. Компании в которой я работаю понадобиться такой сервис в будущем, поэтому я решил сначала попробовать сделать это в одиночку "чисто для себя" чтобы в будущем была возможность как то помочь.

[Тимофей]

Everything_is_bad, Понимаю, но я ещё в самом начале, потом я подключу своих знакомых - коллег.

[Saboteur]

Тимофей, Тогда вариант только один.
Напишите парочку простеньких реализаций, чисто технический концепт, без красивостей.
И нагрузочные тесты, чтобы оценить реалистичность нагрузки и скорости.
Потом будете смотреть нормально ли, где тормозит и что делать дальше.
Вряд ли даже опытный человек вам сразу скажет как лучше, не попробовав конкретно ваш случай на практике.