Парсинг. Как правильно сформилировать запрос к вебсайту с окошечком (поиск)?

Question

[cegthgtlhj]

запрос в таком виде не возвращает результатов поиска

def fg_list_bot(_name_element, _output_file):
    print(_name_element)
    s = requests.Session()
    _data = {"searchValue": _name_element,"searchSubmit":"submit[s][/s]"}
    _headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0"}  
    r = requests.post(_url, data=_data, headers = _headers)
    with open(_output_file, "w", encoding='utf-8') as f:
        f.write(r.text)
    print(r.status_code)
#
# code beginn
#
import requests
from bs4 import BeautifulSoup
_url = "https://hifi-filter.com/en/catalog/recherche-equivalence.html"
_output_file = "IDLE_HIFI.html"
_name_element = "pi3115"   
fg_list_bot(_name_element, _output_file)

когда добавляю капчу, как ниже, то какое-то время, пока капча действительна, программа работает, потом через какое-то время перестает возвращать результаты также как и предыдущий вариант

def fg_list_bot(_name_element, _output_file):
    print(_name_element)
    s = requests.Session()
_data = {"searchValue": _name_element,"searchSubmit":"submit",
             "g-recaptcha-response":"03AOLTBLSGgHKYeeU_WgH-tOhoUV8UXkBejUCAhxgfuyBKE0QA0PeDOcTlrhTd0zlhTyCVIjjkZrfxWBnBfd6R5_G_XU15ZN8s3nqHljYjvXMHpijXj4TZUIu0t_hBHu65rJb7op28Iz1EplJxP0lbfXJbm3Mif-O6jg-eXb-v_spSH4W2aW4nSvMMrHGy-7iJpOns4O-Ff-P2kit_E7jbrKF6jakyR1f0FlcLGFHAPNaf0w2BhnXvxlFmo6ghDR58jqJmWiRRj0BK8nAMIw0FVI4J1j3hoWDxxNX6bnHXxw-mQb-FEhwM4oHMVCvj-NqzG2gX__H9AXuSU7Ehnl9YwtMi3ssW6V4FuEmVIwpZDPy-nIfSdi7NyuycZj6tgLFyKfefj91oaWCNoNqH48I0MfE6zkfim7KlTfbG0LxGIFpH4MMH1_iNunJ0LJU9s_o8jUA3HP5bL-1jPVAbFC6pnxe07GmyKaSutQ"}    _headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0"}  
    r = requests.post(_url, data=_data, headers = _headers)
    with open(_output_file, "w", encoding='utf-8') as f:
        f.write(r.text)
    print(r.status_code)
#
# code beginn
#
import requests
from bs4 import BeautifulSoup
_url = "https://hifi-filter.com/en/catalog/recherche-equivalence.html"
_output_file = "IDLE_HIFI.html"
_name_element = "pi3115"   
fg_list_bot(_name_element, _output_file)

вот как сайт выглядит

Comments

[Elvis]

Никогда, никому не показывайте такой код!
Пожалуйста, почитайте PEP8 весь, но этот раздел в особенности Импорты всегда помещаются в начале файла
Это чтобы у нас кровь из глаз перестала идти.

Answer 1

[grinat]

https://pypi.org/project/pyppeteer/ и с ее помощью кликать по капче если надо и т.д. Правда у меня большие сомнения, что ты гугловскую капчу так обойдешь, вообще - https://anti-captcha.com/mainpage туды пару баксов закинуть хватит на тысячи капч.

Comments

[cegthgtlhj]

гляньте пож-ста на вебсайт, он в явном виде капчу не запрашивает, там кликать никуда не нужно, но капча появляется в параметрах запроса. Смотрите справа в самом низу на картинке в оригинальном посте я зеленым отметил. Может это и не капча вовсе, а какой-то другой параметр, который меняется, но как с ним бороться или подружиться? Иногда она есть в параметрах, а иногда ее нету. Request без этой капчи вообще не возвращает никаких результатов поиска. Request со свежей капчей работает несколько часов.

[cegthgtlhj]

что-то картинка не вышла