s1lver0k
@s1lver0k
std

Как правильно запарсить сайт на python?

Нужно запарсить сайт на Python, не знаю с чего начать.
Сам сайт
Как вы поняли, нужно само расписание.
Перечитал\пересмотрел много инфы, ничего похожего нет.
Буду благодарен за любую инфу.
  • Вопрос задан
  • 369 просмотров
Решения вопроса 1
@seleznev_artem_info
https://github.com/NameArtem
Довольно просто, надо доп. библиотеки установить и делайте так:

На сайте необходимо делать выбор (select), так же он использует Ajax.
Можно использовать связку Python + Selenium + CSV
Как делать:
Подключаете библиотеки:
selenium
csv

В Selenium используем ожидания после каждого Select, до появления определенного элемента на странице.
После получения всех необходимых данных записываем их в CSV файл (а потом, этот файл можно открыть с помощью excel)

Хороший и быстрочитаемый мануал:
https://kreisfahrer.gitbooks.io/selenium-webdriver...

Кстати, Вы можете просто передавать данные в адресную строку (и работать через BeautifulSoup).
Например вы получаете каждый value из option у select (назовем его далее №), а дальше формируете строку в Python, заменяя №, добавляя № из списка и перебирая его при помощи for.
Каждый раз посылаете новую строку и если есть ответ, сохраняете его, так как Вам удобно.
Там примерно такую строку передаёте (№ заменить):
http://www.lp.edu.ua/rozklad-dlya-studentiv?inst=№...
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
@deliro
Агрессивное программирование
scrapy в руки и вперёд. Мануал тебе почитать на ночь?
Ответ написан
dosya97
@dosya97
Fullstack web-developer
OMG. Тут все очень сложно. На этом сайте стоит ajax подгрузка данных. Расписание зависит от выборки select. Скорее всего нужно как то имитировать выборки, потом парсить данные постепенно. А вообще для парса, как в предыдущем ответе, нужно использовать scrapy.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы