Есть ли ограничения у Google public DNS?

Question

[Lorem Ipsum]

Добрый вечер.

Мне нужно спарсить информацию с примерно 3 млн сайтов, буквально зайти на сайт и скачать несколько страниц (индексная и пару внутренних).

Так вот, так как я хочу это сделать многопоточно, то мой скрипт по какой то причине (точно не из-за кода, потому что с кодом все ОК 100%) работает очень медленно. Я думаю, что это из-за лимитов Google Public DNS. Какие в этом случае есть варианты решения проблемы парсинга? (Прокси тоже вариант, но этот вариант я хочу отвести на второй план, так как он совершенно непрактичный).

Answer 1

[Армянское Радио]

Попробуйте во время работы скрипта сделать пару-тройку DNS-запросов.

Наверняка проблема таки в коде, только вы о ней не знаете.

Используйте профилирование.

Comments

[Lorem Ipsum]

Не, проблему с кодом сразу отметаю, так как ничего сложного в коде нету и даже не тестовом коде (банальная загрузка страницы) повторяется данная проблема.

Answer 2

[oia]

используй несколько днс серверов + корневые + 77.88.8.8 яндекс

Comments

[Lorem Ipsum]

А как можно использовать несколько DNS серверов?..

Точнее меня интересует как можно это сделать "на лету", прямо из скрипта\программы.

[sim3x]

Lorem Ipsum: toster.ru/answer?answer_id=463761