Python aiohttp TimeoutError?

Question

[Кирилл Горелов]

Парни, привет.
Такой вопрос.

Делаю get запрос к сайту с помощью библиотеки aiohttp на python.
создаю сессию запросов
async with aiohttp.ClientSession() as session:

И сам запрос

headers = {
        "Accept":"application/json, text/plain, */*",
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
        "Accept-Language":"zh-CN,zh;q=0.9",
        "accept-encoding":"gzip, deflate"}

        async with session.get(url, timeout=40, headers=headers) as response:

В результате к некоторым сайтам подключается, а к некоторым нет.
К примеру есть сайт thekitchn.com к нему не подключается. Ждет таймаут 40 сек. и пишет ошибку. Обращаюсь к сайту через браузер, сайт открывается нормально.

Answer 1

[Dimonchik]

wget или curl берут его?

если да - китайцев не любит. или прокси

Comments

[Кирилл Горелов]

Да я бы так не сказал.

Я набрал около 10000 адресов и на них тестирую.
К примеру к kinopoisk.ru тоже не подключился отдал ошибку таймаут.
А так же еще адреса https://www.mturk.com/ https://www.workable.com/ и вот еще к примеру gooool.org

У меня подозрения что, что-то с подключением, не хватает каких-то заголовков или еще что. То есть сайт к которому я подключаюсь,думает что я робот. И не дает соединиться.

[Dimonchik]

про гугол интересно, хъотя явно из парсят

а первый два точно защиту имеют

[Кирилл Горелов]

dimonchik2013, Кстати, проблема была в другом))

async with session.get(url, timeout=40, headers=headers) as response:

Таймаут 40 секунд на всю проверку, всех 10000 доменов.
И поэтому домены которые не успели проверить в эти 40 сек. Выдавали ошибку таймаут.
Решение следующее.

timeout = aiohttp.ClientTimeout(connect=2)
        async with session.get(url,timeout=timeout,headers=headers) as response:

Вот так таймаут устанавливался на каждый домен отдельно. И все стало работать как и положено.

[Dimonchik]

млдц!