Таймаут DNS запроса в Python: как уменьшить?

Question

[Денис]

Добрый день.
Есть задача заглянуть скриптом в большое количество ссылок. Всё бы ничего, но некоторый домены не удаётся разрешить в адрес. В этом случае скрипт долго-долго ждёт ответ сервера.
Как бы мне сделать так, чтоб ждал он сильно поменьше?
Беглое гугление не дало решения.
Пилится всё на третьем Питоне, используется urllib3, домена резолвлю при помощи socket.gethostbyname.

Answer 1

[lega]

Есть задача заглянуть скриптом в большое количество ссылок.

Используйте асинхронные фреймворки для этого.

Вот пример на gevent, параллельно (куча корутин) с таймаутом www.gevent.org/intro.html#example

Comments

[Денис]

Да, думаю в этом направлении. Но тут явно есть тормоз в виде днс-резолвера, да при асинхроной работе оно будет менее заметно, но от этого оно никуда не денется.

[nirvimel]

Меня таки опередили с этим примером на gevent. Я привел как раз ту самую ссылку. Совпадение.

Answer 2

[nirvimel]

Действительно, gethostbyname (как и getaddrinfo, через который он реализован) не дает никакой возможности задавать таймаут. Все, что остается - это распараллеливать работу через потоки (threading) или через gevent (в документации есть хороший пример параллельного резолвинга имен).

Answer 3

[sim3x]

https://docs.python.org/3/library/socket.html#sock...

поставь себе на хост кеширующий днс
таймаут поставь на 5-10 сек
паралелить парсер просто обязательно в любом случае

Comments

[nirvimel]

settimeout влияет только на операции с сокетом. На gethostbyname/getaddrinfo невозможно повлиять ни через settimeout, ни каким другим способом.

[sim3x]

nirvimel: кеширующий днс на хосте можно настроить таким образом, что он будет отдавать addr not found с минимальным таймаутом.

[sim3x]

nirvimel: лол
таки ты прав
stackoverflow.com/a/4685315

[Денис]

sim3x: это первое, что я прочитал, когда начал искать решение.

[Денис]

И да, забыл. По делу: кэширующий ДНС - хорошо, да. Но сильно непортабельно.
Хочется закинуть поделку на машину, да так, чтоб дополнительно ничего не ставить.
Буду пилить в сторону асинхронности, многопоточноси, счастья всем даром и пусть никто не уйдёт обиженным.
Всем спасибо, помогли.

Answer 4

[Денис]

В общем, резюмирую:
комрад lega изложил то, о чём я сам и думал и, более того, дал дельную ссылку.
nirvimel дал ту же полезную ссылку и подтвердил инфу он влиянии settimeout (Спойлер: влияет НИКАК).
sim3x подсказал идею со своим ДНС-сервером. Оставлю про запас.