Есть один сайт который парсим через прокси с подменой юа и тд. Спустя время начинаются ошибки Парсинга с формулировкой блокировки ип адреса. Если заказать другой сервер использовать тебе самые прокси и юа то Парсинг продолжается без проблем. Путем экспериментов пришли к выводу что сайт источник как то блокирует сервер на котором используется питон скрипт.
Собственно вопрос - каким образом и какие данные может получать сайт источник, помимо тех данных что указаны в заголовках запроса?
Убрал теги "Компьютерные сети" и "Информационная безопасность", потому как это самый обычный вопрос "Как сделать, чтобы нехороший сервер не банил моего хорошего бота-парсера"
Castiel, это вполне себе ответ. Когда меняете сервер, сайт начинает накапливать для него "штрафные очки" с нуля. Когда набирается достаточно "штрафных очков", он блочит этот хост.
Прокси, к слову, могут сообщать, какой хост к ним обратился. Это надо проверять.
CityCat4, убираете теги относящиеся к вопросу? Интересный вы человек, обычный вопрос… мда уж, куда скатился тостер.. если дают права редактирования людям которые ноль в задаваемом вопросе..
Castiel, ну так эту информацию надо в вопрос вставлять. Да и сам вопрос стоит сформулировать четко - какая именно схема доступа к сайту, какой вид прокси используется, как часто чистятся куки, эмулируется ли браузер.
А то выкинул поток сознания в пост, и ждешь, что все сбегутся отвечать. Не нравится тут - спрашивай на стэковерфлоу.
Castiel, Я ответил на конкретный вопрос находящийся непосредственно в тексте сообщения, а не который задали ваши голоса в голове.
Вы чётко спросили - "какую информацию может получить сайт?" - я ответил "отпечаток поведения пользователя". Ни про какие советы и решения ни в вопросе ни в ответе не было ни слова.
Если у вас вопрос в том - как сделать так, чтобы вашего парсера не банил сервер - то так его и задавайте. Только сразу скажу, что таких вопросов здесь был миллиард и маленькая тележка. И никто вам конкретного ответа на него не даст.
Castiel, в информационной безопасности я как бы не совсем ноль, спорим? в компьютерных сетях тоже. Давайте Вы обьясните, каким боком данный вопрос относится к инфобезу и компььютерным сетям, да? Я вижу только нытье "злой сервер забанил мой хороший парсер, а я че? другие вон че и ниче, а я че?"
Сложный
Простой
