• Как осуществить сбор и хранение данных из апи бирж?

    Mandor
    @Mandor
    Сохранять ли в БД или еще куда зависит от того, как вы эти данные собираетесь использовать. Например, можно сохранять в MySQL, но делить таблицы по месяцам (новый месяц - новая таблица), если нужны старые данные - добавляете в запрос нужное количество UNION'ов.
    Ответ написан
    Комментировать
  • Как осуществить сбор и хранение данных из апи бирж?

    @portfelio
    Если вам обязательно нужны костыли на РНР, то (люто приложено всяко будет) можно сделать так:

    0) Вы можете использовать в РНР форк, но это будет адская пляска ;)

    1.1) Ставите RabbitMQ, в него закидываете таски
    1.2) В кроне запускаете Х скриптов, работающих в цикле, проверяющих наличие незавершенных для себя тасков. Выполняете эти таски.

    Насчет базы.. Можно сделать отдельные базы под каждую площадку, можно выгружать устаревшие данные из базы в архив, можно использовать Riak или Hadoop. Вариантов применения и выбора СУБД очень много. Опеределиться нужно с данными: что это за биржи, зачем хранить данные трехмесячной давности и т.д.
    Ответ написан
    Комментировать