Можно ли вытащить все страницы, которые не имеют прямых ссылок на сайте?

Question

[DoubleWish]

Вопрос такого характера:
есть сайт stoneisland.com
На нем размещаются ссылки на вещи, которые актуальны в этом сезоне (коллекция вещей данного сезона), но где-то глубоко зарыты ссылки на страницы с вещами со старых коллекций (точнее прямая ссылка на единый экземпляр) и на них можно выйти только через поисковик (вот пример: www.stoneisland.com/us/stone-island/men/down-jacke... , куртка, которая была много коллекций назад).

Можно ли найти абсолютно все ссылки, которые остались с такими вещами со старых коллекций с помощью каких-либо действий?

Answer 1

[Angelina_Jo]

Если довериться гуглу (например), можно найти примерно 1810 штук таких товаров, которые, скорее всего, с большой долей вероятности являются вещами из старых коллекций. :)

goo.gl/9Njcsu

Можно написать граббер и сохранить все ссылки из гугла. Яндекс выдаёт похожий результат ~ 2000.

Comments

[DoubleWish]

шарился через обычный фильтр, где критерием поиска оставил
"www.stoneisland.com/us/stone-island/men", и со словом jacket выдало всего 290 штук. Но лично я натыкался именно на те, которых там сейчас не было)

[DoubleWish]

@Angelina_Jo посижу вручную покачаю, спасибо!)))

[Angelina_Jo]

@ZeroPT Так вам только куртки нужны? :) Ну курток-то всего 581 шт. ))) - goo.gl/Xfw8Of

[Angelina_Jo]

@ZeroPT Вы с ума сошли? Пол жизни на это потратите. :)))

[DoubleWish]

@Angelina_Jo уже 15 страница ;))))

[Angelina_Jo]

А я ошиблась. :) Вот правильная ссылка на яндекс - goo.gl/fpIyzY :) Всего 64 страницы. :) Для вас, я так понимаю - плёвое дело. :)))

[DoubleWish]

@Angelina_Jo уже все)

[Angelina_Jo]

@ZeroPT Офигеть! :) Вот это сила воли! ))) А можно узнать, для чего вам эти ссылки нужны? :)