Как получить все ссылки на товары при парсинге?

Question

[Любитель поиграть в самолёты]

Пишу код который берёт все ссылки на товары в магазине: допустим этот

Я не знаю сколько всего товаров на сайте. Как мне получить все ссылки на товары и записать их в список?

Comments

[Алексей Горбунов]

Почти у каждого сайта есть файл sitemap, где указаны ссылки на все страницы для индексации поисковиками.
Можете его внимательно изучить и получить ссылки на нужные страницы.

[Antonio Solo]

Алексей Горбунов, спалил тему!

хотя я подозреваю следующим вопросом будет "а где лежит сайтмап"?

[Любитель поиграть в самолёты]

Алексей Горбунов, а где его искать?

В гугле только как его создать

[Алексей Горбунов]

Python Новичок, https://www.victoriassecret.com/sitemaps/index.xml

[Алексей Горбунов]

Antonio Solo, Какую тему? Общеизвестная информация. Или думаешь сайты начнут теперь скрывать sitemap после того как тему спалили?

[Antonio Solo]

Python Новичок,

you made my day :)

посмотри в robots.txt
если там нет - потыкай "типовые" пути
ну а иначе - делай обход сайта

Алексей Горбунов,

у тебя по утрам с юмором плохо ?

хотя если серьезно то надо скрывать сайтмап от широкой публики.

[Алексей Горбунов]

Antonio Solo,

хотя если серьезно то надо скрывать сайтмап от широкой публики.

Поделись как? Пожалуйста...

[Antonio Solo]

Алексей Горбунов,

а яндексу и гуглу ты и так его отдаешь напрямую.
а всем остальным знать его расположение совсем не обязательно

[Алексей Горбунов]

Antonio Solo, это если у тебя 5 страниц на сайте. А если сотни тысяч и не один файл sitemap, то я посмеюсь как ты будет вручную в гугл и яндекс отдавать.

[Antonio Solo]

Алексей Горбунов,

а то что сайтмапы могут иметь иерархическую структуру ты судя по всему не в курсе ?

[Antonio Solo]

Алексей Горбунов,

и как ты думаешь - на озоне или вайдберриз на самом деле нет сайтмапов ?

[Алексей Горбунов]

Antonio Solo,

а то что сайтмапы могут иметь иерархическую структуру ты судя по всему не в курсе ?

Гугл негласно игнорит иерархические сайтмэпы, у него сайт будет индексироваться до морковкина заговенья. А вручную больше 500 сайтмэп не даст добавить.

и как ты думаешь - на озоне или вайдберриз на самом деле нет сайтмапов ?

Ты не поверишь, но так и есть. Можешь поискать страницы товаров в кэше гугла с этих сайтов, если они вручную туда добавили сайтмэп, то что-то не сработало похоже.

[s4q]

Спарсить не получится, у Victoria's Secret товары отображаются через JS, то есть делаются запросы на API на домене api.victoriassecret.com. Смотрите сами запросы в DevTools -> Network.

Answer 1

[Александр Прокопенко]

Узнать класс тега a и вытащить оттуда ссылку. Пример:

Код сайта:
<a class="test" href="ссылка">Я ссылка</a>

Код python:
link = soup.find('a',class_='test').a.get('href')