Как скачать файл по непрямой ссылке?

Question

[organica]

Господа, помогите решить проблему:
Имеется сайт, на котором необходимо скачать csv файл для дальнейших манипуляций с данными.
Ссылка на файл не прямая, а вот такая

CSV_URL = f'somesite.ru/?export_excel=Y&FILTER%5BUF_WAREHOUSE%5D=1&FILTER%5BUF_SHIPPING_DATE%5D%5Bstart%5D%5B0%5D={date}&FILTER%5BUF_SHIPPING_DATE%5D%5Bfinish%5D%5B0%5D={date}'

Переход по этой ссылке запускает скачивание csv с нужными параметрами выборки.
На текущий момент я это дело качаю через Selenium, но хочу обойтись малой кровью через requests.
При рабоче через Selenium я указываю download.default_directory": ROOT_PATH и файл скачивается куда надо.

Глобально проблема в следующем: я этот скрипт упаковываю в .exe, но для его корректной работы надо везде таскать с собой сам драйвер для chrome. Бывает что на некоторых ПК версия хрома отличается и ничерта не работает:) А если решить эту задачу с помощью requests, все должно быть ок

Comments

[pfg21]

проставить параметр {date} ??
или чтото другое ??
тз не полное

[organica]

{date} приходит из GUI от пользователя.
ТЗ- просто скачать файл по ссылке и положить его рядом со скриптом.

Answer 1

[Сергей П]

Откройте дебаг-консоль браузера и посмотрите какой именно запрос делает браузер для скачивания файла. Нажмите правой кнопкой и скопируйте CURL-команду для выполнения этого запроса из командной строки.
В условиях той скудной информации что вы предоставили (без примеров) вам подробнее ничто не подскажет.

Comments

[organica]

Самое интересное, что во вкладке Network консоли хрома ничего не появляется при нажатии на нужную ссылку. Примера дать не могу т.к. это закрытая корпоративная площадка и без аккаунта с нужными правами доступа ничего не скачается -)

[Сергей П]

organica, Ну вы можете посмотреть какой код выполняется по нажатию на ссылку.
Может быть все необходимые данные уже получены при отрисовке страницы, а ссылка лишь инициирует процедуру фильтрации и сохранения.

[organica]

Вообще интересная страничка устроена. Если пользователем на сайте отключены все фильтры, то при нажатии на кнопку со ссылкой
https://somesite.ru/delivery/?export_excel=Y
Скачивается вся табличная часть в формате csv, которая уже загружена на таблице.


Если установить какой-нибудь фильтр, например по дате, ссылка на кнопке меняется на

https://somesite/delivery/?export_excel=Y&FILTER%5BUF_SHIPPING_DATE%5D%5Bstart%5D%5B0%5D=16.04.2020&FILTER%5BUF_SHIPPING_DATE%5D%5Bfinish%5D%5B0%5D=16.04.2020

Но если заменить даты ОТ и ДО в ссылке вручную или программно( как у меня сейчас работает), то скачается файл за нужную дату, независимо от текущего содержания страницы

[Сергей П]

organica, ну что я вам могу подсказать... Javascript - полный по Тьюрингу язык программирования. На нём можно закодить что угодно. Вы - слишком узкая замочная скважина для продуктивного исследования проблемы.

Answer 2

[Dimonchik]

обычный request get

и затем r.raw write binary mode

Answer 3

[soremix]

Разве так не будет работать?

r = requests.get(CSV_URL)

with open('result.csv', 'wb') as f:
    f.write(r.content)