Каким стеком лучше организовать проект?

Question

[Виолетта]

Проект будет заниматься парсингом сайта, получая ежедневно базу данных размером 500 мегабайт.
В админке нужно получать доступ к временнЫм графикам с выборкой изменения значений в этих базах данных.

К примеру есть значение количество продаж какого то продукта в каком то магазине.
Нам нужно отобразить динамику по дням этого параметра в течении месяца. Соответственно получить выборку 30 значений в 30 базах.

Подскажите какие технологии лучше использовать чтобы реализовать такой проект ? и получить удовлетворительную скорость обработки таких запросов.

Спасибо.

Comments

[NubasLol]

Laravel, postgresql, js

Answer 1

[Дмитрий Свиридов]

Парсер я бы сделал вообще отдельным микросервисом и пилил его либо многопоточным на Го, либо с использованием асинхронных фреймворков/библиотек на Python. Бэкенд админки я бы запилил на Django, скорее всего, а фронт сделал к ней на React/Angular/Vue. Но насчет бэкенда админки - вопрос достаточно спорный, потому что если делаешь фронт на React/Angular/Vue, то админка - это по сути просто rest-апи. Не знаю, возможно, использовать Django несколько избыточно.

Насчет выборки из 30 баз: возможно, правильнее сделать одну базу, в которую данные из этих 30 агрегировать. А читать уже из нее.