Как реализуют парсинг большого количества данных и дальнейшее их хранение?

Question

[Leshiy66613]

Здравствуйте! Занимаюсь на досуге баловством и создаю всякие свистоперделки. Захотелось разобраться как вообще парсят огромные массивы данных и как их хранят.
Есть сайт работающий через rest api и отдающий небольшое конечное количество данных в формате json. Получается что нужно сделать, например, 3000 последовательных запросов, чтоб получить полный объем необходимых данных. Финальный json в таком случае вероятно может весить очень много. В каком виде такие данные хранить и где. Как лучше и быстрее обрабатывать?

Comments

[Дмитрий]

Много данных это терабайты, у вас не много данных)

[Leshiy66613]

Дмитрий, да, но смотря где это приложение работает. Где-то мало, где-то много. Оно все может очень быстро перерасти в гигабайты

Answer 1

[Dmitry Bay]

так не храните. Сливайте данные с запросов в базу каждый 100 запросов к примеру.
Научиться парсингу — с чего начать?

Answer 2

[Роман]

Смотря что... смотря с кем.. )))

Общее решение таково: разобрать json и запихнуть в mysql и делать потом всё что душе угодно