Можно ли фильтровать JS, который отключает расширение uBlock Origin, использую в связке с selenium?

Question

[kopelev2000]

Можно ли фильтровать JS, который отключает расширение uBlock Origin, использую в связке с selenium.
Паршу OLX и мне надо доставать номера телефонов, для того чтобы меня не банило, установил uBlock, поначалу всё было нормально, я не разу не был забанен и номера парсились, но потом я так и не понял что случилось, он начал отключать весь JS, в связи с этим сбор номеров стал невозможен, в интернете ничего не нашёл по данному поводу

Comments

[kopelev2000]

Сам код:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

f = open('text.txt', 'a', encoding='utf8')
urls = open("input.txt", "r")
for url in urls:

    def get_url(driver):
        driver.get(url)
        print("GOT URL")
        time.sleep(3)


    def press_cookie_btn(driver):
        cookie_btn = driver.find_element_by_xpath("//div[@class='topinfo rel']"
                                                  "/button[@class='cookie-close abs cookiesBarClose']")
        cookie_btn.click()
        print("COOKIE")
        time.sleep(2)


    def get_content(driver):
        try:
            time.sleep(1)
            driver.find_element_by_xpath("//span[@class='link spoiler small nowrap']/span").click()
            time.sleep(2)
            try:
                phone = driver.find_element_by_xpath("//strong[@class='fnormal xx-large']").text
                print(phone)
                f.write(phone + '\n')
                time.sleep(1)
            except:
                phone_1 = driver.find_element_by_xpath("//strong[@class='fnormal xx-large']/span[@class='block'][1]").text
                phone_2 = driver.find_element_by_xpath("//strong[@class='fnormal xx-large']/span[@class='block'][2]").text
                print(phone_1, phone_2)
                f.write(phone_1 + ' ' + phone_2 + '\n')
                time.sleep(1)
        except:
            pass



    def page_pagination(driver):
        ars = driver.find_elements_by_xpath("//a[@class='marginright5 link linkWithHash detailsLink']")
        urls_1 = []
        for ar in ars:
            url_1 = ar.get_attribute("href")
            urls_1.append(url_1)
            print(url_1)
        for url_2 in urls_1:
            driver.get(url_2)
            time.sleep(3)
            get_content(driver)
            time.sleep(3)

    def pages_pagination(driver, last_elem):
        page_pagination(driver)
        try:
            for i in range(1, last_elem):
                driver.get(url+"/?page="+str(i))
                page_pagination(driver)
        except:
            pass



    def main():
        options = Options()
        options.add_argument('user-agent=Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36')
        options.add_extension("D:\\UU\\cjpalhdlnbpafiamejdnhcphjbkeiagm.crx")
        driver = webdriver.Chrome(options=options)
        driver.implicitly_wait(10)
        get_url(driver)
        last_elem = driver.find_element_by_xpath("//span[@class='item fleft'][last()]")
        press_cookie_btn(driver)
        pages_pagination(driver, last_elem)
        driver.quit()


    main()

urls.close()
f.close()

Answer 1

[dollar]

Можно.

Только это война снаряда и брони. Нельзя заранее сказать, кто победит. Вы использовали uBlock, они заблокировали uBlock, вы можете отключить блокиратор uBlock'a, они захотят убрать отключение блокиратора uBlocka, вы затем вырежете то, что убирает отключение блокиратора uBlock'a, они вас за это забанят, вы начнете создавать много аккаунтов, да так, что они не будут успевать банить вручную, на это они создадут алгоритм, который будет определять, что это фейковые аккаунты, вы начнете создавать их очень разными с разных ip через прокси, и т.д. и т.п.

Спустя годы ваш ИИ будет распознавать любую капчу, но им всегда будет, что ответить. Условно можно считать победителем того, у кого больше времени и прочих ресурсов на эту войну. Даже если вы в итоге окажетесь за решеткой, ваши потомки могут продолжить ваше правое дело. Ну а если потомков нет, то можно считать, что ваши ресурсы истощены и вы проиграли.

Comments

[kopelev2000]

И что с этим можно сделать, сейчас тещу скрипт, половина нормальная, а половина нет.

[dollar]

kopelev2000, главное - нужно сделать свои атаки в виде нежелательного парсинга менее заметными. Например, уменьшив RPS до 0.1, а если ваши скрипты дают приличную нагрузку на сервер, или же вы как-то иначе наносите явный ущерб, то с вами будут бороться.

Что касается вашего скрипта, который вы тестите, то осталось сделать вторую половину нормальной. :)

[kopelev2000]

dollar, не подскажите как фильтровать те js скрипты которые надо отключить от нужных, просто uBlock отключает либо все ( и из-за этого не получается собрать номера), либо вообще ничего не делает