Почему меня «раскрыли», scrapy выдает крякозябры и как получить HTML самой страницы (вопрос не простой)?

Question

coderisimo @coderisimo

Почему меня «раскрыли», scrapy выдает крякозябры и как получить HTML самой страницы (вопрос не простой)?

Делаю запрос к fucking... , то есть к booking (https://www.booking.com). В ответ приходят странные крякозябры. Типа вот такого

[sV7eV>Td{TZ'7UO_/ ϟU9/PDK4kE
i6lLu̒CspPLݢٺ

полный текст (для тех, кто не боится столкнуться с невообразимым) вот здесь - https://drive.google.com/open?id=1xeGxThHw919zk3l1...
ответы все время разные, внутри встречаются странные конструкции типа
<html></html>
И так далее.
проблемы две.
1) я не могу привести это к нормальному виду. Либо букинг меня тролит и раскусил, но зачем тогда слать вот такие куски , а не просто вывалить ошибку сервера ?

2) Точно такой же запрос с postman отвечает нормальным редиректом 302, и если открыть ссылку в его заголовке, то сайт открывается без проблем.

Важно : Дело не в
jS (postman не выполняет js , но в нем все работает и сайт грузится).
не в заголовках (в postman специально их не задаю и не притворяюсь браузером)
и не в IP - postman и scrapy шлют запросы с одного IP , но с разным успехом.

Что же это такое происходит?
Спасибо

Вопрос задан более трёх лет назад
249 просмотров

2 комментария

Подписаться 2 Средний 2 комментария

500rur @500rur

У меня Скрапи забирает www.bookings.com без всяких проблем.

Написано более трёх лет назад

coderisimo @coderisimo Автор вопроса

500rur,
Написал простейшего паука :

class ExampleSpider(scrapy.Spider):
    name = 'example'
    headers = {
        'Accept': '*/*',
        'Accept-Encoding': 'gzip, deflate, br',
        'Cache-Control': 'no-cache',
        'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
        'Connection': 'keep-alive',
        'Pragma': 'no-cache',
        'USER_AGENT': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
    }

    def start_requests(self):
        url = 'http://www.booking.com'
        yield scrapy.Request(url=url, headers=self.headers, callback=self.parse)

    def parse(self, response):
        print('step 2')
        print(response.status)
        print(response.headers)
        open_in_browser(response)

в ответ получаю вот такоЭ :

если обращаюсь к yandex , например, то все работает.
Можете подсказать, в чем может быть ошибка?

ЗЫ Возможно, когда вы парсили букинг в последний раз там все работало иначе , чем сейчас ?

Написано более трёх лет назад

Решения вопроса 1

Комментировать

Пригласить эксперта

Ответы на вопрос 2

1 комментарий

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

+2 ещё

Простой
Как сделать всплывающее на несколько секунд окно после нажатия на кнопку в тг боте на Python?
- 1 подписчик
- 2 часа назад
- 41 просмотр
1

ответ
Python

Простой
Мультиязычность на python как стоит оптимизировать?
- 1 подписчик
- 7 часов назад
- 61 просмотр
2

ответа
Python

Простой
Как в данном коде сделать часть текста желтым цветом?
- 1 подписчик
- 18 часов назад
- 63 просмотра
1

ответ
Python

+1 ещё

Простой
Где мне указать db.connect(), чтобы он распространился на весь проект?
- 2 подписчика
- вчера
- 152 просмотра
2

ответа
Python

+1 ещё

Простой
Как решить ошибку AssertionError: expected call not found при запуске тестов библиотеки python unittest?
- 1 подписчик
- 20 дек.
- 66 просмотров
0

ответов
Python

Простой
Как преобразовать список в несколько строк с возрастающими значениями?
- 1 подписчик
- 19 дек.
- 109 просмотров
1

ответ
Python

+1 ещё

Простой
Что нужно сделать чтобы код заработал как надо?
- 1 подписчик
- 19 дек.
- 536 просмотров
2

ответа
Python

Простой
Как удалить из строки пустые строки, находящиеся не в начале, и не в конце строки?
- 1 подписчик
- 19 дек.
- 126 просмотров
2

ответа
Python

Простой
Как правильно узнавать типы данных (из внешних пакетов) для объявления своих функций?
- 1 подписчик
- 18 дек.
- 131 просмотр
2

ответа
Python

Простой
Как в VK Bottle получить имя и фамилию пользователя?
- 1 подписчик
- 18 дек.
- 66 просмотров
1

ответ
Показать ещё Загружается…

Python-разработчик

Uptrade

от 70 000 до 150 000 ₽

Middle/Senior Python Developer

Большая Тройка • Москва

от 200 000 до 300 000 ₽

Python developer

Greenway Global • Новосибирск

от 150 000 ₽

Аппликация для фильтра заказов

22 дек. 2024, в 20:40

10000 руб./за проект

Расширение для Google Chrome

22 дек. 2024, в 20:34

3000 руб./за проект

Парсер-бот

22 дек. 2024, в 20:12

10000 руб./за проект

У меня Скрапи забирает www.bookings.com без всяких проблем.
500rur,
Написал простейшего паука :

class ExampleSpider(scrapy.Spider): name = 'example' headers = { 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Cache-Control': 'no-cache', 'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3', 'Connection': 'keep-alive', 'Pragma': 'no-cache', 'USER_AGENT': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36' } def start_requests(self): url = 'http://www.booking.com' yield scrapy.Request(url=url, headers=self.headers, callback=self.parse) def parse(self, response): print('step 2') print(response.status) print(response.headers) open_in_browser(response)

в ответ получаю вот такоЭ :

если обращаюсь к yandex , например, то все работает.
Можете подсказать, в чем может быть ошибка?

ЗЫ Возможно, когда вы парсили букинг в последний раз там все работало иначе , чем сейчас ?

Answer 1 · 2019-10-22 13:07:10

Ответ подсказали на stackoverflow.
Суть : в скопированных мною БЕЗДУМНО заголовках было

'Accept-Encoding': 'gzip, deflate, br'

после чего я ,конечно, получал сжатый контент. Отсюда и непонятные крякозябры. Как только убрал этот заголовок- все заработало нормально.

Answer 2 · 2019-10-21 21:56:28

Headballz @Headballz

Записать с помощью codecs.open(file_name, 'w',"utf-8") пробовали?

Ответ написан более трёх лет назад

1 комментарий

Answer 3 · 2019-10-21 23:27:57

Дело, может быть, как раз в заголовках,
которые scrapy использует по-умолчанию,
например, user-agent: scrapybot (совсем непалевно).

Почему меня «раскрыли», scrapy выдает крякозябры и как получить HTML самой страницы (вопрос не простой)?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт