Есть к примеру таблица.
Задача состоит в том чтобы парсить страницы, небольшими частями, например по 5 штук за раз.
Как проще всего пометить уже отпарсеные урлы, чтобы выбрать следующий блок?
Они должны парсится бесконечно, тоесть отпарсились все, начались с начала, в день по нескольку раз.
Добавляете еще один столбец - status.
Выбираете 5 значений у которых статус 0, если таковых нет, то обновляем у всех status на 0 и начинаем заново, а если есть таковые , то парсите и записываете в status 1.
И конечно настраиваете крон, чтоб тот запускал скрипт через каждые 5 минут или как вам удобно
Если нужно парсить каждый URL только N раз за определенное время, то добавить поле "created" с UNIX Timestamp (или парсить с той даты, что уже есть) и проверять сколько прошло времени с последней проверки, соответственно обновлять дату, а крон ставить, например каждую минуту, тогда все будет в актуальном состоянии на указанное время )
Спасибо, ваш ответ меня на толкнул на мысль, сделаю к каждому урлу поле с timestamp, каждый раз выбирать пять урлов с минимальными метками времени, и обновлять ее на текушюю, при каждом парсинге. И будет парсинг с перебором всех урлов по кругу.
Я один не понимаю, а чем цикл плох ? (сделай таймер после каждых 5 - если нужно именно так)
Время работы то же, результат тот же ... и закинь в крон
Зависит от проекта и какую информацию получаешь + для чего.
Например сделать БД с id и ссылкой сайтов которые нужно парсить. (По id и будет цикл).
"Они должны парсится бесконечно, тоесть отпарсились все, начались с начала, в день по нескольку раз."
Так и будет: Список ссылок с id + задача в кроне. Изи)
Средний
Средний
