Как искать сайты сделанные определённым конструктором, Tilda например?

Question

[iakdrugyelena]

Всем привет! Подскажите куда копать?
Как искать сайты сделанные определённым конструктором?
Например made on tilda?
Как настроить такой парсер?
Возможно ли это вообще?

Answer 1

[alekseyHunter]

Парсить главную страницу, в футере искать фразу на чем сделано. Проверки через условные блоки или словарь.
Берите для парсера быструю библиотеку, phpQuery, например.
Минус в том, что если парсить по классам, это не получится. Можно искать по внутреннему контенту. Или используйте библиотеки для анализа текста в Python. Библиотека "Наташа", кажется, чистит текст от html тегов. И уже в тексте проверяйте через словарь наличие фразы.

Comments

[iakdrugyelena]

Привет! ок, кстати, навели на хорошую мысль напомнив про футер, спасибо.
А как организовать парсинг всего инета, так сказать, есть какие то базы всех сайтов вообще по которым уже начать парсить?
А есть ли базы именно русскоязычных сайтов?

[alekseyHunter]

iakdrugyelena, провайдер заблокирует, если начнёшь весь инет парсить. И не факт, что местный.
Для такой задачи - нет.

[iakdrugyelena]

alekseyHunter, О, а я понял как такой список создать

[alekseyHunter]

iakdrugyelena, для проверки парсера пойдёт 5-10 URL сайтов, сделанных на разных конструкторах.

Answer 2

[Atrashkov_Group]

Кажется есть решение "на тоненького")
У большинства конструкторов в тарифе идет хостинг, а у хостинга - ip адрес.
Задача сужается до найти хотя бы 1 сайт на тильде, потом узнать ip адрес сервера и загуглить все сайты на "ip адрес".