Можно выгрузить список URL в текстовый файл (если урлы меняются, то можно обновлять этот текстовый файл скриптом) и сконфигурировать
siege для обхода этого списка раз в сутки. В итоге, задача решится буквально одной строчкой (похоже на то, что предлагает
Виктор) но с опциями siege можно очень гибко управлять процессом, поиграться с количеством потоков, настроить таймауты, не нужно забивать место на диске, он сгенерит красивый отчёт, который можно проанализировать, и т.д.