Как создать многосерверную архитектуру node js?

Question

[Даулет Нуржанов]

Я начинающий разработчик на стеке js, я хочу сделать парсер 3 китайских сайтов и мне кажется, что один сервер не справится
В голову пришла идея: сделать 4 сервера, 1-ый сервер парсит один сайт(например alibaba), 2-ой парсит ещё один, и 3-ий другой и все они записывают в одну бдшку.
Есть типо главный сервер и он берет данные с бдшки
Если те 3 сервера будут записывать в одну бдшку, он не полетит?

Comments

[d'Ivan]

Почему так кажется что "один сервер не справится"?

[sim3x]

И почему не используется СУБД?

Answer 1

[Александр]

Мой опыт подсказывает, что как раз все Приложения может жить на одном сервере, даже можно запустить несколько экземпляров одного и того же приложения для увеличения скорости скачивания информации, а вот результаты для сохранения в должны быть в разные базы.

Если рассмотреть Приложение, то оно представляет цикл:
- формирование URL ( как правило быстро )
- HTTP запрос ( оч. медленно )
- парсинг (быстро)
- сохр в БД ( медленно )
т.е большей частьи времени приложение будет ожидать выполнения HTTP запроса и сохр в БД.
так что можно запустить столько приложений, сколько памяти хватит.

Судя по объемам (алибаба), одного сервака для БД явно не хватит, а чтоб БД работала быстро ей надо много свободной оперативки.

Если исп БД MySQL, то там есть ARCHIVE Engine, которая настроена на быструю вставку. Есть ограничения, но всегда можно настроить репликацию на InnoDb или куда нужно.

Comments

[Даулет Нуржанов]

Доброго времени суток, я могу с вами связаться?
Я хочу задать несколько вопросов