Парсинг Python Как обойти защиту сайта?

Question

[AnKus]

Не дает залогиниться, видит что бот... Подскажите, как обойти ? Вот код:

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
import pyautogui

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")

url = 'https://5140.org/fops/page-1'

driver = webdriver.Chrome(options=options, executable_path=r"/media/anatolii/Data/Python_lern/pythonProject/all_tov/chromedriver")

driver.get(url)

time.sleep(5)

# x, y = pyautogui.position()
# print(x, y)
pyautogui.click(1213, 204)
time.sleep(3)
login = driver.find_element(By.ID, 'loginform-email')
password = driver.find_element(By.ID, 'loginform-password')
time.sleep(3)
login.send_keys('[e-mail]')
time.sleep(2)
password.send_keys('password')
time.sleep(3)
pyautogui.click(1183, 501)

Добавил куки и юзер агент в код:

ua = UserAgent()
us_ag = ua.random
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument(f'user-agent={us_ag}')

и

driver.add_cookie(
        {
        '__cf_bm':"O.jl1bMk7AiGZvrN4CS_.KLqF9kOWU0wfN4rNK5CbGs-1660731720-0-AZY0NGbSyGF+j5loar4iFxZBAPgbsRGHuFfdwEJI3gmGW9gKxFjlLOGQcP01ug5ybcMNMY8plOy6DzBY2BQ/gsfNhkm7TOO89d1K/f2akx3z56+69nUprtnCE9dpBlg/4Q==",
        '_csrf': "19ff889cad2821912bb53ff5c8326ce8db3db5f4f117146e7d7ea2d00293fe4aa:2:{i:0;s:5:\"_csrf\";i:1;s:32:\"F7n-ayDjs8tGacpEsLtiioJ0WQ_5jE4n\";}",
        '_ga:':	"GA1.2.1779771971.1660719853",
        '_gid':	"GA1.2.455984854.1660719853",
        '_identity': "1ce006a89edd1c2a02a5f938aa08fc81b14204a44242d50b227a11aa044e06e9a:2:{i:0;s:9:\"_identity\";i:1;s:50:\"[38537,\"6RaU_esckPQQpYKFpHQqBMKwXQrKTeHy\",2592000]\";}",
        '_ym_d': "1660719852",
        '_ym_hostIndex':	"0-37,1-0",
        '_ym_isad':	"2",
        '_ym_uid': "1660719852774666658",
        '_ym_visorc': "w",
        'PHPSESSID': "41310956357f59c376c20ae1d77b48fb"
        }
    )

Результата нет. Не пускает на сайт. 2 варианта ответа:
1. Сообщает сайт, что доступ закрыт.
2. выдает ошибки:

_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: missing 'name'
(Session info: chrome=104.0.5112.101)
Stacktrace:

Answer 1

[Виктор Голованенко]

Попробуйте использовать драйвер undetected-chromedriver для Selenium. Он содержит в себе алгоритмы, позволяющие скрывать средства автоматизации браузера, тем самым становясь менее подозрительным для веб-приложения и всевозможных WAF. Возможно, что потребуется запуск браузера в обычном режиме (не headless), чтобы проходить разнообразные антибот-проверки, реализованные на фронтенде в виде JavaScript-скриптов. В таком случае, если вы запускаете программу на сервере без экрана, используйте PyVirtualDisplay для эмуляции экрана через Xvfb, например.

Comments

[AnKus]

Добавил в код:

driver = uc.Chrome(version_main=104)
driver.get(url)

запускается в обычном режиме, посему, как я понял юзать PyVirtualDisplay не требуется. Но вопрос это не решило. Браузер открыт, никаких действий не выполняется. Закрываю принудительно и выдает ошибку:

raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='localhost', port=55577): Max retries exceeded with url: /session/c96568a226b4e90d559ec874f088ce6f/window (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused'))

Как в данном контексте должен выглядить код обработки

[AnKus]

и почему-то не работает:
options = uc.ChromeOptions()
options.add_argument("start-maximized")

[maksam07]

AnKus, а вы точно поняли, как пользоваться библиотекой и пользуетесь ею правильно?

[Виктор Голованенко]

AnKus, скорее всего, это связано с блокировкой Google в России. Дело в том, что undetected_chromedriver сначала скачивает оригинальный файл драйвера с серверов Google, затем патчит его. Делает это каждый раз при запуске. Эту проблему можно решить, используя заранее скачанный/установленный файл драйвера. Я написал менеджер контекста, который берёт драйвер Chrome по указанному расположению. В моей системе (Arch Linux) драйвер находится в /usr/bin/chromedriver.

import tempfile
import shutil

import undetected_chromedriver


config = {'chrome_driver_executable_path': '/usr/bin/chromedriver'}


class UndetectedWebBrowser:
    def __init__(self):
        self.temp_dir = None
        self.driver_kwargs = {}
        if driver_executable_stock := config.get('chrome_driver_executable_path'):
            # Copy chromedriver to a temporary file with write permissions to patch it
            self.temp_dir = tempfile.mkdtemp()
            driver_executable = shutil.copy(driver_executable_stock, self.temp_dir)
            self.driver_kwargs.update(driver_executable_path=driver_executable)

    def __enter__(self):
        self.browser = undetected_chromedriver.Chrome(**self.driver_kwargs)
        return self.browser

    def __exit__(self, exc_type, exc_val, exc_tb):
        self.browser.quit()
        if self.temp_dir is not None:
            shutil.rmtree(self.temp_dir)

Использовать его можно так:

with UndetectedWebBrowser() as driver:
    ...

[AnKus]

maksam07, не точно. Делал по документации

[AnKus]

Виктор Голованенко, спасибо большое за совет. Но я не в России. К тому же выяснил еще 1 интересный факт. 2 разных пк, на 2-х разных провайдерах. На 1 Минт, на 2-м Убунту. На одном сайт сообщает, что доступ закрыт. На другом выдает вышеоеисанную ошибку.

[Виктор Голованенко]

AnKus, можно полный текст (traceback) исключения?

[AnKus]

Виктор Голованенко, Странно, но на Убунте ошибок нет, все сработало. Может ли быть вопрос в Mint`e, ибо на нем с 2-х провайдеров не работало ?

[AnKus]

единственное, что не работает на данном этапе - это :
options = uc.ChromeOptions()
options.add_argument("start-maximized")
На обычном вебдрайвере работает

[Виктор Голованенко]

AnKus, добавьте два дефиса перед аргументом, чтобы получилось так:

options = uc.ChromeOptions()
options.add_argument("--start-maximized")

[AnKus]

Виктор Голованенко, добавлял. Нет эффекта

[Виктор Голованенко]

AnKus, как вы передаёте опции в драйвер? У меня работает так — окно браузера открывается на весь экран:

import undetected_chromedriver

options = undetected_chromedriver.ChromeOptions()
options.add_argument('--start-maximized')
driver = undetected_chromedriver.Chrome(options=options)

[AnKus]

Виктор Голованенко,
options = uc.ChromeOptions()
options.add_argument("--start-maximized")
driver = uc.Chrome(version_main=104, options=options)

[Виктор Голованенко]

AnKus, что есть uc в вашем коде?

[AnKus]

Виктор Голованенко, import undetected_chromedriver.v2 as uc
все заработало. Помогло банальное обновление Хрома :-\

[AnKus]

Несколько изменил код, так как надо проходиться по ссылкам и парсить данные оттуда. Больше всего интересует номер телефона, который видно только авторизированным пользователям, так еще и надо нажать кнопку "показать номер". Код выглядит так:

import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pyautogui
import undetected_chromedriver.v2 as uc
from bs4 import BeautifulSoup

url = 'https://5140.org/fops/page-1'
host = 'https://5140.org'

options = uc.ChromeOptions()
options.add_argument("--start-maximized")
driver = uc.Chrome(version_main=104, options=options)
wait = WebDriverWait(driver, 10)
driver.get(url)

time.sleep(5)

page = driver.page_source
# with open('page.html', 'w') as file:
#     file.write(page)
#     file.close()

soup = BeautifulSoup(page, 'lxml')
boxes = soup.find_all('div', class_='table-responsive clearfix')
for gb in boxes:
    green_boxes = gb.find_all('tr', class_='green')
    for l in green_boxes:
        links = host + l.find('td', class_='font-weight-bold text-primary p').find('a').get('href')

driver.get(links) #Переходит к первой ссылке
pyautogui.click(1255, 158)#Нажимает на кнопку авторизации
time.sleep(3)
login = driver.find_element(By.ID, 'loginform-email')
password = driver.find_element(By.ID, 'loginform-password')
time.sleep(3)
login.send_keys('[e-mail]')
time.sleep(2)
password.send_keys('password')
time.sleep(3)
input_btn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'button.btn'))).click()#Кликает на кнопку "Войти"
# x, y = pyautogui.position()
# print(x, y)

time.sleep(10)
element_phn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'a.offset-top-4'))).click() #тут должен нажать на кнопку "Показать номер", но не нажимает
time.sleep(5)
phone = driver.find_element(By.CSS_SELECTOR, 'a.offset-top-4')# а тут должен показать сам номер. (Селекторы одинаковые в обоих случаях)

time.sleep(5)

driver.quit()
driver.close()

Но на кнопки внутри карточки не жмет, а выдает ошибку:

raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='localhost', port=50445): Max retries exceeded with url: /session/1eec2729881f232e568ee7fdbd4c1755/window (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused'))

Так же интересует, как Селеном обращаться к списку ссылок, чтоб перебирал все ссылки поочереди, так как это делает BS.

Так же есть тхт файл со ссылками, собранными в отдельном файле. Возможно ли как-то его прикрутить к этому коду, чтоб собирать данные с каждой ссылки из этого файла ?

[Виктор Голованенко]

Так же интересует, как Селеном обращаться к списку ссылок, чтоб перебирал все ссылки поочереди, так как это делает BS.

AnKus, можно применить следующий подход: загружать страницу с помощью Selenium, затем передавать её содержимое в BeautifulSoup, с помощью которого извлекать все необходимые данные.

[AnKus]

Виктор Голованенко, Страниц в каталоге очень много. На каждой надо будет авторизироваться, сохранить ее в хтмл и распарсить Супом ... Или Вы не это имели в виду ?

[Виктор Голованенко]

AnKus, сохранять в файл, если вы это имеете в виду, не нужно. Объекта Супа у вас уже есть, вы его сформировали из driver.page_source

[AnKus]

Виктор Голованенко, тут я нахожу нужные ссылки на карточки, которые хочу парсить:

soup = BeautifulSoup(page, 'lxml')
boxes = soup.find_all('div', class_='table-responsive clearfix')
for gb in boxes:
    green_boxes = gb.find_all('tr', class_='green')
    for l in green_boxes:
        links = host + l.find('td', class_='font-weight-bold text-primary p').find('a').get('href')

Тут обращаюсь к переменной, в которой ссылки (в консоль выводятся все корректно):

driver.get(links) #Переходит к первой ссылке

ну и далее по коду ... с ошибками.

Не нужно было бы авторизирроваться и кнопку просмотра номера жать постоянно, проблем бы не было.

Answer 2

[Ross Alex]

Вы пробовали авторизироваться, потом считать url куда отправило, установить куки, потом перейти на этот же url, так как куки работают только на ту страницу, на которую ты уже зашел, а не на ту, куда собрался заходить.

Comments

[AnKus]

пробовал. не помогло. Решением стал undetected-chromedriver, как подсказал Виктор Голованенко . Но сейчас, будете может смеяться, но не работает :
options = uc.ChromeOptions()
options.add_argument("start-maximized")

не критично, конечно, но лучше б работало