@adreanov

Как можно массово парсить сайты?

Подскажите, каким образом можно парсить сайты на наличие определенного кода/ссылки на нем?
Возможно через сервисы или собственные скрипты на сервере
  • Вопрос задан
  • 309 просмотров
Пригласить эксперта
Ответы на вопрос 4
vabka
@vabka
Токсичный шарпист
собственные скрипты на сервере
Ответ написан
Комментировать
@zkrvndm
Софт для автоматизации
Яндекс и гугл умеют находить конкретные слова на конкретных сайтах. Если это какая-то общая задача используйте помощь поисковых систем.
Ответ написан
Комментировать
CityCat4
@CityCat4
//COPY01 EXEC PGM=IEBGENER
С помощью рук и головы, однако
Ответ написан
Комментировать
Noizefan
@Noizefan
Так же, как это делают поисковые системы - с помощью веб кроулера. Он ходит по сайтам, перемещаясь между ними по гиперссылкам - этот способ хорош тем, что отсканишь абсолютно всё на что где-либо была хоть какая-то ссылка.
Либо можешь отсканировать весь диапазон ipv4 на наличие веб-сервера, скармливать каждый wget'у и найдёшь свою ссылку - этот способ хорош тем, что так можно очень быстро познакомиться с товарищем майором. Он в свою очередь поможет поменять приоритеты по жизни и цели на более реальные и целесообразные.

Отпиши потом что выбрал и каков результат! Очень интересно.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы