если страницы статичны или обновляемы (раз в 3-12 часов), можно хранить html в базе. или распарсить и хранить нужные данные.
можно сделать очередь запросов обрабатываемых в данный момент и чтобы не запускался повторно на тот же самый URL.
если я правильно понял проблему