Как отправить запрос к сайту через определенный DNS-сервер в python?

Question

[ironheaddd]

Добрый день!
Есть скрипт на python, который подключается к впн через сервис expressvpn, который в свою очередь переписывает файл /etc/resolv.conf и приводит его к виду:

# Generated by expressvpn
search expressvpn
nameserver 10.141.0.1

После подключения к гео (проходит по списку) скрипт запрашивает хэдеры с сайта, но часто возникает ошибка:

HTTPConnectionPool(host='domain.com', port=80): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.HttpConnection object at 0x7f0fd5234c18>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))

и после не работают ни curl, ни wget, ни ping. Но если я приведу /etc/resolv.conf к виду:
nameserver 8.8.8.8
то консольные команды работают (скрипт при этом не останавливается и продолжает отправлять запросы к сайту, но ошибка не уходит)
В этой связи возникает вопрос: можно ли указать свой DNS-сервер, чтобы python отправлял запросы ТОЛЬКО через него, не обращаясь к файлу /etc/resolv.conf?
Запрос хэдеров

def get_headers():
    for_write = []
    try:
        print('getting headers...')
        with requests.Session() as sess:
            head = sess.get("http://domain.com", timeout=60)
            print('get is complete!')
            for_write.append(head.headers['x-geo-detected'])
            for_write.append(head.headers['x-monitor'])
            with open("log.txt","a+") as f:
                f.write(str(for_write) + "\n")
            return True
    except BaseException as exc:
        print(exc)
        for_write.append('Don\'t get headers from domain.com with ' + str(exc))
        with open("log.txt","a+") as f:
            f.write(str(for_write) + "\n")
        return False

def main():
    open("log.txt","w").close() 
    while True:
        with open ("country_final.txt", "r") as country:
            for geo in country:
                i = 0
                geo = geo.replace("\n","")
                connect(geo)
                time.sleep(10)
                status()
                gh = get_headers()
                while gh == False:
                    i += 1
                    print('headers is False! Reconnecting...')
                    disconnect()
                    time.sleep(10)
                    connect(geo)
                    time.sleep(10)
                    gh = get_headers()
                    if i == 10:
                        break
                disconnect()
        send_log()

if __name__ == "__main__":
    main()

PS: в python не умею, это первый опыт пользования языком, пошла третья неделя "жизни" скрипта)

Comments

[User]

https://stackoverflow.com/questions/22609385/pytho...

Answer 1

[Vindicar]

Есть довольно старый ответ на стэковерфлоу. requests под капотом использует urllib3, а та содержит функцию urllib3.util.connection.create_connection(), ответственную за установку TCP соединения. Соответственно, можно попробовать подменить эту функцию на свою реализацию, и использовать пакет dnspython для запросов.

from urllib3.util import connection
import dns.resolver

def your_dns_resolver(hostname: str) -> str:
    """Получает на вход доменное имя, возвращает IP адрес в виде строки."""
    resolver = dns.resolver.Resolver(configure=False)
    resolver.nameservers = ["8.8.8.8"]  # список используемых DNS серверов.
    answer = resolver.resolve(hostname, "A")  # A-запись для IPv4 адреса, AAAA-запись для IPv6 адреса
    if len(answer) == 0:
        raise Exception("No A record found")
    return str(answer[0])

_orig_create_connection = connection.create_connection

def patched_create_connection(address, *args, **kwargs):
    """Wrap urllib3's create_connection to resolve the name elsewhere"""
    host, port = address  # оригинальный адрес для запроса
    hostname = your_dns_resolver(host)  # сами определяем IP по имени
    return _orig_create_connection((hostname, port), *args, **kwargs)  # дёргаем оригинальную функцию, чтобы создать соединение

connection.create_connection = patched_create_connection

Код не проверял, это скорее концепт чем готовый инструмент.

Comments

[ironheaddd]

я видел этот ответ, но проблема как раз в этом и кроется, что это "скорее концепт, чем готовый инструмент", и у меня не хватает скилла чтобы довести его до ума и встроить в свой скрипт

[Vindicar]

ironheaddd, ну вот я сейчас проверил приведённый мной код на своём днс-сервере - работает.
Прописал на сервере новый домен верхнего уровня test.test, прописал в коде гугло-днс - не находит. Прописал в коде свой днс-сервер - находит.
Так что хз что у тебя не работает.

[ironheaddd]

Vindicar, у меня не работает понимание кода из-за недостатка опыта

[Vindicar]

ironheaddd, ну смотри. Код, который я привёл выше, достаточно выполнить один раз в начале скрипта. Он подменит внутренний механизм urllib3, заставив его использовать нашу функцию определения адреса.
После этого все запросы через urllib3 и обёртки над ним (типа requests) по идее должны начать использовать нашу функцию, т.е. изменять код работы с requests не потребуется.

[ironheaddd]

Vindicar, т.е. я могу написать (перед этим прописав функции):

if __name__ == "__main__":
    your_dns_resolver('domain.com')
    _orig_create_connection = connection.create_connection
    patched_create_connection()
    connection.create_connection = patched_create_connection
    main()

но что мне передать в patched_create_connection()?

[Vindicar]

ironheaddd, да нет же.

def replace_resolver():
    # тут мой код, прямо целиком

def main():
    # тут твой код

if __name__ == '__main__':
    replace_resolver()
    main()

[ironheaddd]

Vindicar, хмм, добавил функцию your_dns_resolver(), запустил - проблема с dns не ушла(

[Vindicar]

ironheaddd, что значит "добавил функцию your_dns_resolver()"?

Ну и да, некоторые провайдеры имеют милую привычку заворачивать все исходящие DNS запросы на свой сервер, независимо от их адреса назначения. Так что если у тебя VPN не пропускает через себя весь трафик, т.е. не прописывает себя как default gateway - всё равно могут быть проблемы.

[ironheaddd]

ага, впн не дает "переопределить" днс и отправляет все через свой сервер, идея потерпела фиаско.