Как собрать такое количество интернет-магазинов в каталог?
Есть такой сайт - https://www.cartinsight.io/ В нем больше 400 тыс. магазинов США. Но доступ к ним платный и довольно дорогой. Вопрос: какими способами можно собирать подобный каталог? Как вообще этот сайт собрал такую огромную базу?
Почему так много.
Это агрегатор. Агрегаторы как правило используют готовый API, либо находят хаки как получить доступ к приложениям. Вот так и парсят/находят. Самих магазинов много - это не Российский рынок, а интернациональный. Грубо говоря, возьми все магазины мира и вот получишь этот рынок.
Бро, все достаточно тревиально(если могешь)....
Есть каталог всех доменов, которые только существуют.
Анализируешь их CMS и контент сайта.
Контент можно собрать с помощью краулера + немного магии и готово) Это если очень коротко.
Не надо нанимать 400К программистов. К тому же у большинства магазинов есть sitemap и он открыт на чтение всем.
Средний
Сложный
