Как в Node.js выстроить очередь запросов к API с паузами?
Суть задачи:
Есть архив с научными данными за 100+ лет и есть API к нему.
Проблема в том, что суммарно там несколько миллионов записей, а API позволяет за раз получать не более 20к.
Требуется вытянуть всё по кускам, крутя цикл по годам/месяцам и делая между заходами задержки, чтобы не обрушить им сервер.
Потом всё это нужно собрать в кучу (не перепутав порядок) и сохранить в json-файл на диске.
Все сделанные мною попытки либо порядок нарушают, либо паузы не выходят, либо всё сразу.
Куда копать, что читать, какие для этого есть модули?
node тут не самый хороший выбор. Если вым нужна синхронность зарпосов, может исопльзовать другой язык? Или разберитесь с async await в ноде с версии 8 есть поддержка.
возьмите обычный curl, php(sleep, file_put_contents(или fopen), ассоциативный массив с полем порядка) и получите желаемый результат. у меня где-то был функция для работе с линкедин с curl которая тянет порции json а потом их собирает в одно. если интересно могу потом запостить
Микола Деревло, я попробовал curl, но оно меня послало с ошибкой "SSL certificate problem: unable to get local issuer certificate". Я понимаю, что это значит (у них апи только через https), но как исправить - не знаю. А нода коннектится и получает.
Простой
Простой
