Как обойти код 302 при подключении к сайту?

Question

[Junior007]

Всем привет!

Подскажите, пожалуйста, как обойти сообщения с кодами 301 и 302, при попытке подключиться к некоторым ресурсам типо youtube.com, yandex.com и.т.д по HTTPS.
При это при подключении, например, к github.com код страницы получаю без проблем.

Получается, что ютуб как-то понимает, что я потенциальный парсер и банит подключение?

UDP: Добавил www - все работает, теперь проблема с кодировкой получаемого текста (Хидеры читаемы):
При выводе в файл - тоже самое

Answer 1

[15432]

Я уже писал вам, что код 302 - это не ошибка. Нужно парсить ответ и отправлять запрос на указанную ссылку для перенаправления.

У вас в запросе https://youtube.com
Вас редиректят на https://www.youtube.com

Comments

[Junior007]

Я олень. www - подставить помогло. Но теперь в выводе жесть какая-то. Обновил в вопросе скрин, декодеры не справляются. Да я знаю, что это не ошибка, просто не знаю как написать иначе. Спасибо! Подскажете с кодировкой?

[15432]

Junior007: У вас в запросе что написано? Accept-encoding: gzip, deflate, br. Посмотрите, что сайт вернул - Content-Encoding: gzip. То есть, пожатые данные вам пришли.
Или распаковывайте, или уберите список поддерживаемых форматов сжатия.

[Junior007]

15432: Низкий поклон! Я вслепую из Firefox скопировал... Сколько Вам лет, если не секрет?

[Junior007]

15432: Такое количество опыта, видимо

[15432]

Junior007: Мне 23, в вебе не разбираюсь, буст не знаю, о каком опыте речь, ответы же очевидные.

Answer 2

[Ilya]

День добрый.

301 и 302 коды - редиректы. В том же curl'e есть директива CURLOPT_FOLLOWLOCATION, которая позволит следовать за редиректами, так сказать. Либо делайте запросы на те урлы, где точно будет отдаваться 200 код. Вместо youtube.com делайте запрос на https://www.youtube.com

Comments

[Junior007]

C++ OpenSLL и Boost::Asio, там https:// автоматически подставляется. Тут дело в том, что в заголовках нет адресов для редиректа

[Ilya]

Junior007: ну про С++ в вопросе ни слова, так что дальше я не помощник. Но общая концепция в моем ответе верная. Если https:// подставляется, то просто добавляйте www, чтобы не было редиректа (если речь про youtube). Ваша задача - просто сделать запрос на правильный урл, а не бороться с заголовками.