@Evdokim001
PHP & WordPress developer

Как прошерстать сайт?

Здравствуйте. Недавно появилась идея написать парсер для своего проекта. Этот парсер должен работать очень быстро и обрабатывать за один запрос десятки тысяч страниц одного сайта. Я хотел бы его написать на PHP. Скажите, кто знает, если я создам такой скрипт. Поймет ли сайт, что его парсят? Сможет ли он отследить мой IP?

Информация будет сохраняться в массив, а потом передаваться пользователю.
  • Вопрос задан
  • 256 просмотров
Пригласить эксперта
Ответы на вопрос 2
@zkrvndm
Софт для автоматизации
обрабатывать за один запрос десятки тысяч страниц одного сайта

Ну если у вас достаточно денег, чтобы купить десятки тысяч прокси и минимум пару-тройку топовых физических серверов... то почему нет? Ах да, есть совсем маленький нюанс в виде разработки уникального ПО способного работать с такими объемами, но право слово, это будет герунда на фоне трат выше.
Ответ написан
Из опыта скажу что, при однопоточном парсинге приходится делать тайм-ауты от 0,3 до 1 секунды. Соответственно, посчитайте врем затраты времени и аренды серверов/ip/адресов.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы