options = webdriver.ChromeOptions()
# options.add_argument(f"user-agent={user_agent.random}")
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--headless")
options.add_experimental_option('prefs', {
"download.default_directory": path_registration_documents,
"download.prompt_for_download": False,
"download.directory_upgrade": True,
"plugins.always_open_pdf_externally": True,
}
)
driver = webdriver.Chrome(
executable_path=f"{base_path}/chromedriver",
options=options
)
driver.find_element_by_id("tab-documentation-li").click()
time.sleep(0.5)
documents = driver.find_elements_by_class_name("docext-container")
for document in documents:
document.click()
time.sleep(1)
import requests
import re
import os
#...
headers = {'Content-Type': 'application/x-www-form-urlencoded'}
documents = driver.find_elements_by_class_name("docext-container")
for document in documents:
# тут ищем родительский элемент, в нем есть нужный нам ID
document_id = document.find_element_by_xpath('..').get_attribute('data-documentation-id')
# в пейлод вписываем нужные данные от формы, и вставляем наш ID
payload='cr_documentation_action=download&documentation_id={}&email='.format(document_id)
# url для запроса - текущая страница
# ставим обязательно stream=True, чтобы файл не выкачивался сразу
r = requests.post(driver.current_url, headers=headers, data=payload, stream=True)
# название файлов всегда есть в заголовках запроса, response.headers
# поэтому берем их, видим в нужном ключе "attachment; filename*=UTF-8''hlw-shiptsy-ortodonticheskie-reg.pdf"
# ну и недолго думая дергаем регуляркой
document_name = re.search(r'\'\'(.+?\.pdf)', r.headers['Content-Disposition']).group(1)
# дальше уже нужно проверить наличие файла в папке
# я так понял путь до папки с загрузками в переменной path_registration_documents, так что:
if document_name in os.listdir(path_registration_documents):
print('Не новый')
else:
print('Новый док')
document.click()