В общем пытаюсь спарсить определенный сайт: Ссылка удалена модератором.
Но как я понял, он отлично защищен. Мне не помог ни фейковый юзер агент, ни прокси(не использую публичный)
Вот код для примера:
import requests
from bs4 import BeautifulSoup
proxies = {
}
def get_local(url):
response = requests.get(url=url,proxies=proxies)
soup = BeautifulSoup(response.text, 'lxml')
print(soup)
def main():
get_local(url='https://getgems.io/')
if __name__ == '__main__':
main()
В терминале есть вывод, но там какая-то несуразица. Если попытаться сохранить html файл, а затем открыть его в браузере, то откроется белое окно.
Быть может, кто-то имеет опыт обхода защиты подобных сайтов. Поделитесь, пожалуйста.
Я пробовал использовать selenium, он замечательно обходил защиту сайта, но за это приходится платить очень медленной работой
