Python requests не получает правильный HTML — код страницы, как решить?

Question

[Виталий Жовнирчик]

Я новичок в Python
Пишу в учебных целях парсер сайта list.if.ua
Все почти сделал: получил список всех категорий, список всех страниц по категориях но не могу получить HTML - код страниц со списком организаций в категориях с больше чем одной страницей.

Например ссылка http://list.if.ua/Автомийки-Івано-Франківська/page/3 в браузерах (Опера, Мозилла, Хром) открывается хорошо и видно список организаций а при requests запросе на эту страницу в полученом HTML-коде отсутствуют организации.

Вот часть Python кода который я использую для теста:

import requests

def test():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language': 'en-en,ru;q=0.8,en-us;q=0.5,en;q=0.3',
        'Accept-Encoding': 'gzip, deflate',
        'Connection': 'keep-close',
    }

    url = 'http://list.if.ua/Автомийки-Івано-Франківська/page/3'
    response = requests.get(url, headers=headers)
    print(response.text)

Подскажите как можно получать правильный HTML-код через Python ?

Comments

[Дмитрий]

По вашей ссылке в браузере: "За Вашим запитом нічого не знайдено"

[Виталий Жовнирчик]

У меня в Internet Explorer также "За Вашим запитом нічого не знайдено" но в opera, mozilla, chrome все хорошо
Наверное сайт не отдает ответ для Internet Explorer и браузера который используется в python requests хотя я подменял headers под mozilla

Answer 1

[Alex Zaharchuk]

У меня, например, тоже нету организаций (с браузера). Пишет "За Вашим запитом нічого не знайдено". А вот по этой ссылке все работает: list.if.ua/%D0%90%D0%B2%D1%82%D0%BE%D0%BC%D0%B8%D0...