Как спарсить страницу, которая не парсится?

Question

[andranikTomskiy]

Хочу сделать мобильное приложение, но не получается спарсить страницу с расписанием.
PHP выдает следующую ошибку:
Warning: file_get_contents(https://stotis.sakhalin.gov.ru/raspisanie/cg.htm): Failed to open stream: HTTP request failed! HTTP/1.1 403 403Forbidden in C:\xampp\htdocs\stotis.php on line 13
Пробовал осуществить запрос на reqbin com, но там тоже не работает.
Однако при переходе на сайт через браузер все работает исправно. Надеюсь, на Вашу помощь

Comments

[John Didact]

Может он IP проверяет и всех нерусских не пускает? Я вот, из РК, не смог зайти на сайт.

Answer 1

[Константин]

403 третья ошибка означает ,что запрос был выполнен правильно, но сервер отказал. Зайди на сайт и посмотри, что на вкладке 'расписние' пусто, парсить нечего (

Comments

[andranikTomskiy]

Зашёл, есть что парсить

[Константин]

andranikTomskiy,

но не получается спарсить страницу с расписанием.

Ставьте вопрос точнее

[Константин]

Короче, смотри! Я за php не шарю, но вот что я написал на python

import requests
from bs4 import BeautifulSoup
r = requests.get('https://stotis.sakhalin.gov.ru/raspisanie/cg.htm',verify=False)
soup = BeautifulSoup(r.content, 'lxml')
find_names = [" ".join(x.text.split()) for x in soup.find_all('a', 'z0')]
print(find_names)
print(r.text)

with open('result228.html', 'w') as file:
    file.write(r.text)

Вот что возвращает сайт

h1>403</h1>  
			<p>ÐоÑÑÑп огÑаниÑен</p><br><br>		
			
			<p><font size=2>Такое иногда ÑлÑÑаеÑÑÑ.<br>СкоÑее вÑего, админиÑÑÑаÑоÑом ÑайÑа ÑÑÑÐ°Ð½Ð¾Ð²Ð»ÐµÐ½Ñ Ð¾Ð³ÑаниÑениÑ<br>на доÑÑÑп к запÑоÑенной ÑÑÑаниÑе,
<br>
но на вÑÑкий ÑлÑÑай пÑовеÑÑÑе, Ð½ÐµÑ Ð»Ð¸ оÑибок в адÑеÑе.<br><br>
			ÐÑавиÑелÑÑÑво СаÑалинÑкой облаÑÑи<br>

Короче, с виду такой простой сайт, в шифровать умеет, я бы спарсил с помощью библиотеки selenium)

У тебя данные получилось забрать?

[andranikTomskiy]

Константин, Хорошо, спасибо)

[andranikTomskiy]

Константин, спарсить пока не получилось. Буду изучать selenium

[Дмитрий]

andranikTomskiy, откройте средства разработчика скопируйте урл как cURL и посмотрите прокатит или нет. возможно там по заголовкам user-agent секут