Как собрать такое количество интернет-магазинов в каталог?

Question

[Konyuh]

Есть такой сайт - https://www.cartinsight.io/ В нем больше 400 тыс. магазинов США. Но доступ к ним платный и довольно дорогой. Вопрос: какими способами можно собирать подобный каталог? Как вообще этот сайт собрал такую огромную базу?

Answer 1

[Сергей Соловьев]

Почему так много.
Это агрегатор. Агрегаторы как правило используют готовый API, либо находят хаки как получить доступ к приложениям. Вот так и парсят/находят. Самих магазинов много - это не Российский рынок, а интернациональный. Грубо говоря, возьми все магазины мира и вот получишь этот рынок.

Как собрать так много - искать и исследовать.

Терпение и труд все перетрут, как говорится

Answer 2

[Кирилл Горелов]

Бро, все достаточно тревиально(если могешь)....
Есть каталог всех доменов, которые только существуют.
Анализируешь их CMS и контент сайта.
Контент можно собрать с помощью краулера + немного магии и готово) Это если очень коротко.
Не надо нанимать 400К программистов. К тому же у большинства магазинов есть sitemap и он открыт на чтение всем.

Comments

[Konyuh]

о, толковый ответ, спасибо!)

[Everything_is_bad]

"гениальный" ответ

[Кирилл Горелов]

Everything_is_bad, спасибо что оценил)

[Everything_is_bad]

Кирилл Горелов, а как sitemap поможет соотнести конкретную цену к конкретному товару? ой, всё таки надо парсер написать, да?

[Кирилл Горелов]

Everything_is_bad, да

Answer 3

[Everything_is_bad]

Ну так спросит у них, мы откуда знаем. Давай идею подкину, парсер для одного условного магазина можно написать за час, нанимаешь 400к программистов и чудо, у тебя за один час парсеры всех этих магазинов.