Как можно обходить защиты сайтов от ботов?

Question

[temagadfazer]

Пытаюсь реализовать бота на стороннем сайте с помощью selenium, но там явно стоит защита от ботов: не даёт выполнить js через execute_script - сразу закрывает вебдрайвер, в терминале нет ошибок. Все элементы скрыты, якобы невидимы. Нужные элементы то ли постоянно ререндерятся, то ли что - сидишь, смотришь на код элемента в консоли разработчика, а он обновляется. В общем, есть варианты как с этим бороться?

Comments

[stul5tul]

Если сайт не хочет - имеет право.
Ваши действия попадают под уголовную статью 274 УК РФ. В других странах - аналогичные статьи. В США - вообще жестко.
Разумеется, фактически ее применять не будут.
Но, раз на сайте есть ограничение, значит владельцы не хотят ваших ботов.

Answer 1

[Zanak]

Задача в общем случае не имеет решения, конечно, если договорится с владельцем сайта - не вариант.
Да, ты можешь на питоне научится подделывать заголовки запросов, распознавать капчу, можешь даже качественно строить в памяти dom и обрабатывать его js, загруженным со страниц целевого сайта, но это работает только в частных случаях. Как только появляется интерес не дать тебе утащить данные, сразу начинается гонка, один придумывает способы, как обламать халявщика, другой - как эти проверки обойти. Авита, как пример, много внимания уделила, а может и уделяет до сих пор, противостоянию с пауками, и, в моем случае, найденные решения жили от нескольких дней, до нескольких месяцев, а потом все равно отпадали.
Если, все таки, желание не отпало, можно попробовать перестать прикидываться браузером и стать им на самом деле. Речь про написание плагинов, которые будут приглядывать за страницей и искать на ней нужные данные, собирая их в памяти на отдельной вкладке, или отправляя на твое api для сохранения. Можно попробовать поиграться со встраиванием браузера в твою программу, но я игрался только со встраиванием ишака в прогу на дельфях, да и то, очень давно.

Answer 2

[Rozello]

Можно написать свою обвязку вокруг браузера, нужные елементы искать не по коду, а по изображению, а уже после эмулировать клики по соответствующим координатам и ввод с клавиатуры.
Если всё это писать самому лень, можно купить zennoposter например или BAS эти инструменты позволяют всё указанное автоматизировать, доступна запись действий в виде макросов + ко всему имеют под капотом обход фингерпринтинга разными способами что собственно позволяет использовать не одиночного бота, а целую их ферму.

Answer 3

[Александр]

Есть два решения. Оба платные:

1) Платить программисту за актуализацию обхода защиты. Минус в том, что программист это может делать не всегда, и на обновление бота нужно время.

2) Использовать живых людей. Минус в том, что это заметно медленнее.

Что именно дороже, однозначно сказать нельзя.

Answer 4

[yola11]

Я нашел решение обратного. Подключите логику и возможно вам поможет https://www.brainbeast.best/ru/how-to-cheat-protec...