@Relapse

Как правильно парсить Яндекс Блоги (blogs.yandex.ru), используя прокси?

Приветствую!

Пишу парсер на PHP+cURL.

Требуется каждый час парсить результаты выдачи blogs.yandex.ru по 950 запросам.
Для решения этой задачи, очевидно, требуется антикапча и прокси.

Если с антикапчей все понятно, то к прокси есть вопросы:
1. Насколько замедляет использование прокси получение результатов выдачи, учитывая требуемое количество запросов?
2. Какое количество прокси и какая задержка требуется для этой задачи, чтобы прокси не забанили?
3. Какие прокси лучше использовать: индивидуальные или общие?

Сразу скажу, что API Яндекс.Блогов не подойдет по причине того, что там лимит — 70 запросов в час.
  • Вопрос задан
  • 683 просмотра
Пригласить эксперта
Ответы на вопрос 2
glebovgin
@glebovgin
Full Stack Web Developer
День добрый.

1. Прокси прокси рознь. Одни шустры и беспроблемны, другие утром работают, вечером нет. Конечно же, время ответа у каждого свое. Можно просто при таймауте выше 5-7 сек переключаться на другой прокси.
2. Имхо, только эмпирическим путем это надо определять.
3. Скажу по своему только опыту - с общедоступными мороки больше. Я покупал списки прокси. Но и их покупка не избавляет от проблем - те же задержки, какие-то могут не работать вообще. В общем прокси - не всегда панацея.
Ответ написан
Комментировать
@privet_4ybak
Используйте покупные прокси
найти можете тут proxy-rating.info
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы