Как избежать блокировки на сайте?

Question

[Nikita235]

В общем пытаюсь спарсить определенный сайт: Ссылка удалена модератором.

Но как я понял, он отлично защищен. Мне не помог ни фейковый юзер агент, ни прокси(не использую публичный)

Вот код для примера:

import requests
from bs4 import BeautifulSoup

proxies = {
}


def get_local(url):
    response = requests.get(url=url,proxies=proxies)
    soup = BeautifulSoup(response.text, 'lxml')
    print(soup)


def main():
    get_local(url='https://getgems.io/')


if __name__ == '__main__':
    main()

В терминале есть вывод, но там какая-то несуразица. Если попытаться сохранить html файл, а затем открыть его в браузере, то откроется белое окно.

Быть может, кто-то имеет опыт обхода защиты подобных сайтов. Поделитесь, пожалуйста.

Я пробовал использовать selenium, он замечательно обходил защиту сайта, но за это приходится платить очень медленной работой

Comments

[Bright144]

Я пробовал использовать selenium, он замечательно обходил защиту сайта, но за это приходится платить очень медленной работой

И сколько запросов хочешь отправить в секунду? Selenium только в первом запуске занимает не который время, дальше скорость будет зависит от скорости интернета и от сайта который парсиш. Говорят requests не умеет работать с скриптами, по этому таких сайтов лучше парсит с selenium.

[shurshur]

Selenium запускает полноценный браузер, которому нужна в том числе и оперативная память, поэтому неудивительно, что он тяжёлый...

Но если не хочется Selenium, то может потребоваться очень много усилий, чтобы разобраться в устройстве сайта и достать из него данные. Это вполне реально, но может быть очень сложно, если владельцы сайта хорошо постарались.

[Nikita235]

Bright144, спасибо за ответ, учту

[Nikita235]

shurshur, что-то мне подсказывает, что сайт защищен очень хорошо, кажется, что придется вернуться к selenium

[Bright144]

Nikita235, сайт наверно на SPA(js) как Сергей Горностаев говорил внизу. Но для selenium это не проблема.:)

Answer 1

[Dimonchik]

requests.get(url=url,proxies=proxies)

добавь хотя бы юзерагента для начала

вообще защиту надо тыкать постепенно, углубляясь

Comments

[Nikita235]

user-agent добавлял, не помогло, уже не помню зачем из кода убрал. Попробую, конечно потыкать защиту, но чувствую, что придется вернуться к selenium