Как парсить сайт на python?

Question

[Тая]

надо спарсить сайт https://koleso.ru/shops/, достать данные о каждом магазине (адрес, телефон, время работы, координаты)

но проблема заключается в том, как это сделать ? не могу найти, где берутся координаты.
помогите пожалуйста

Answer 1

[Александр]

Для некоторых задач селениум избыточен:

>>> import re
>>> from urllib.request import urlopen
>>> regex = r"createObject\(\"Placemark\",\s?new\sYMaps\.GeoPoint\(([\d\s\.\,]+)\),\s?\"(\w+)\",\s?'([^']+)'\s?\);"
>>> text = str(urlopen("https://koleso.ru/shops/").read(),"windows-1251")
>>> result = [list(x.groups()) for x in re.finditer(regex, text, re.MULTILINE)]
>>> result[0]
['37.834803,55.776082', 'Koleso', '<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3653118/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />ш. Энтузиастов, д. 63<br />тел.: [phone]</div>']
>>>

но регулярку надо уметь написать

Comments

[Тая]

Александр спасибо, вроде бы работает, но не совсем разобралась в ващем коде ?
1) import re - это вызов библиотеки для использования регулярных выражений
2) from urllib.request import urlopen - для работы с интернетом
а вот строки 3, 4, 5. можете объяснить ?
как я поняла, в стр №3 мы описываем принцип поиска координат, но почему именно так
стр4 - это читаем нужный урл, где будем искать координаты
стр №5 делаем результат, те генератор списков собирает сроку

а так же такой вопрос: выдает список в разнобой, а как его отсортировать ?

конечно, если Вам не тяжело будет
заранее благодарна

[Александр]

про 3 - есть сайт regex101.com

список идет в таком порядке, в каком он и прописан в коде страницы.

Answer 2

[Stanislav Pugachev]

https://scrapy.org/

Answer 3

[Aleksandr]

Я сам недавно начал изучать это направление и использую Selenium.
Сложного ничего если есть минимальные знания HTML, можно конечно и без них

Comments

[Тая]

читала и общалась про селениум, но говорят, что он очень долго и медленно делает.
не все его жалуют, но спасибо за совет :)