NerfX

1) Попробуйте curl вместо file_get_contents
2) Попробуйте поменять подход: сохраните адреса в промежуточную таблицу, а затем в несколько проходов обрабатывайте. Просто из крона дергайте или ajax, если есть веб-интерфейс.