Как не парсить страницы 404 которые заменены сайтом?

Question

[zyusifov11]

как пропускать страницы сайта которые выдают ошибку 404 но заменены сайтом.

if html.status_code == 200:

не помогает так как фактически страница есть но контент заполнен надписями что страница не найдена.

Answer 1

[Developer]

Если status code 200, а не 404, то только путём анализа контента на странице. Либо по размеру страницы с содержимым 404-й. Больше никак.
Я бы за такое руки оторвал бэкенду.

В общем случае, если пришло 200, то страницу придётся скачивать в любом случае. 404 и все остальные коды созданы для того, чтобы принимать решение, стоит ли обрабатывать контент. Если прилетело 200, то сервер жопой отвечает на пацана, что контент валидный, скачивай братуха. И вот он тебе подсовывает подлянку - контент с содержимым, что содержимого страницы нет.
Тогда можно запомнить размер бракованной страницы в байтах и впоследствии, принимая 200-й ответ, смотреть на размер страницы. Если он примерно в пределах бракованной страницы, то не обрабатывать его, идти дальше. Размер может немного меняться из-за динамически подсасываемых данных (урлы скриптов могут меняться, ссылки на баннеры и пр., но незначительно). И вот мы пишем очередные костыли на ровном месте по вине жопоруких бэкендеров

Comments

[zyusifov11]

Полностью согласен, но есть одна загвоздка парсер, парсит список сайтов по очереди и анализ содержимого не будет работать ((

[alfss]

zyusifov11, Делать исключительную логику для некоторых сайтов

[Сергей Карбивничий]

Я бы за такое руки оторвал бэкенду

Очень много сайтов видел, где на 404 приходит ответ 200. Но они, как правило, по размеру в несколько раз меньше.

[zyusifov11]

Сергей Карбивничий, не понял как по размеру? По размеру страницы если да то как это фиксировать в bs4? Спасибо заранее.

[Dimonchik]

Гугл руки и отрывает, так что сами себе буратины

[Developer]

Сергей Карбивничий, я тоже много таких сайтов видел. Но это не значит, что миллионы мух не могут ошибаться.
Всем им надо оторвать лапки

[Сергей Карбивничий]

Developer, А я и не сказал, что это правильно. Я просто сказал, что много таких сайтов видел.

[Developer]

Сергей Карбивничий, да все их видели. Это не новость. А расплодились они потому, что не наказывает их никто и бэк по рукам не бьет. И вообще, в нашей отрасли давно уже кризис с квалификацией кадров...