Подскажите, пожалуйста, как решить следующую задачу.
Нужно парсить json каждую минуту, так как информация быстро меняется, и с нескольких сайтов. Планирую с десяти. С кроном разобрался и 4 сайта спарсил. Но вот на чем застрял: 1. С добавлением каждого последующего сайта время выполнения крон задачи (использую easia cron) растет. Json большие. После json_decode получается массив на 10000 элементов. Меня не забанят за парсинг через каждые 60 секунд? 2. Дальше нужно как то отображать этот массив на 10000 элементов. Сначала я думал сохранять массив в БД: создать очередь (queue api), а потом записать его в 10000 нод (но это, наверное, будет выполняться вечно), и вывести эти все ноды в представление, чтобы можно было все красиво настроить(сортировку, фильтрацию, поиск). И еще надо каждую минуту обновлять эти 10000 нод (с моим скудным опытом решить это почти невозможно(
Может этот массив не сохранять в бд, а как то сразу выводить, но выводить его в представление было бы удобнее. Если кто то сталкивался с такой проблемой, буду очень благодарен за дельный совет.
Спасибо!
Средний
Простой
