Как скачать файл?

Question

[san_m_m]

Добрый день!

Мне нужно открыть файл под названием "Реестр выданных разрешений на осуществление деятельности по перевозке пассажиров и багажа легковым такси на территории Сахалинской области" на странице https://mintrans.sakhalin.gov.ru/about/rezultaty-d...
Изначально планировал сделать в лоб через:

url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
r = requests.get(url )
#а дальше бы через суп или регулярное выражение вытащил ссылку

Но что-то, видимо, этот способ здесь не подходит.

Comments

[alex1478]

Для этого сайта достаточно указать User-agent в запросе.

Answer 1

[herypank]

У меня все получилось :)

url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
user_agent_val = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
r = requests.get(url, headers = {
    'User-Agent': user_agent_val
})

У тебя просто вылетает 403(т.к не указан юзер агент), поэтому ты на сайт попасть не можешь. Если остались вопросы пиши. Дополню ответ.

Comments

[san_m_m]

Спасибо! Получилось!

[san_m_m]

Так, можно вопрос?

url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
user_agent_val_sakhalin = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
r_sakhalin = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})

url_gotov_sakhalin = re.search(r'тоянки</a></li> <li><a href="(.+?)">Реестр выданных разрешений на осуществление деятельности по перевозке', r_sakhalin.text)

if url_gotov_sakhalin != None:
    url_gotov_sakhalin = 'https://mintrans.sakhalin.gov.ru/' + url_gotov_sakhalin.group(1)
else:
    url_gotov_sakhalin = 'None'

Но когда пытаюсь открыть с помощью pd.read_excel снова выдает 403

[herypank]

san_m_m, Ошибка появляется на втором запросе?

[herypank]

import re
import requests
url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
user_agent_val_sakhalin = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
r_sakhalin = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})
url_gotov_sakhalin = re.search(r'тоянки</a></li> <li><a href="(.+?)">Реестр выданных разрешений на осуществление деятельности по перевозке', r_sakhalin.text)
if url_gotov_sakhalin != None:
    url_gotov_sakhalin = 'https://mintrans.sakhalin.gov.ru/' + url_gotov_sakhalin.group(1)
else:
    url_gotov_sakhalin = 'None'
response = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})

у меня 200 вылетает..

[san_m_m]

herypank, Ну я делал следующим образом...

import re
import requests
import pandas as pd
url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
user_agent_val_sakhalin = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
r_sakhalin = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})

url_gotov_sakhalin = re.search(r'тоянки</a></li> <li><a href="(.+?)">Реестр выданных разрешений на осуществление деятельности по перевозке', r_sakhalin.text)

if url_gotov_sakhalin != None:
    url_gotov_sakhalin = 'https://mintrans.sakhalin.gov.ru/' + url_gotov_sakhalin.group(1)
else:
    url_gotov_sakhalin = 'None'

df_sakhalin = pd.read_excel(url_gotov_sakhalin )

[herypank]

san_m_m, вы должны сказать файл, а не san_m_m,

import re
import requests
url = 'https://mintrans.sakhalin.gov.ru/about/rezultaty-dejatelnosti/reestry/'
user_agent_val_sakhalin = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
r_sakhalin = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})
url_gotov_sakhalin = re.search(r'тоянки</a></li> <li><a href="(.+?)">Реестр выданных разрешений на осуществление деятельности по перевозке', r_sakhalin.text)
if url_gotov_sakhalin != None:
    url_gotov_sakhalin = 'https://mintrans.sakhalin.gov.ru/' + url_gotov_sakhalin.group(1)
else:
    url_gotov_sakhalin = 'None'
response = requests.get(url, headers = {
    'User-Agent': user_agent_val_sakhalin
})
with open('test.xls', 'wb') as file:
    file.write(response.content)

Answer 2

[Дмитрий Шицков]

В данном случае вытащить ссылку можно через браузер (например используя selenium)