Как не ложить сервер при парсинге 10к+ страниц?

Question

[historydev]

Добрый день. Написал парсер который кидал запрос и парсил содержимое, но такой вариант со временем стал комом в горле т.к. капчи появились, встал вопрос слизать всё и сразу, начал работать, положил сервер на 40 секунд, не хочу проблем и не за этой целью я гнался, так вот - скажите пожалуйста как мне поступить? Можно парсить по 100 страниц в сутки, но там их 10к +, заказчика не устраивают недели парсинга, либо парсить интервалами по 50 страниц в 10 минут?

Спасибо.

Comments

[Алексей Горбунов]

Если капча появляется, то серьезный сайт парсите. Может у них АПИ есть кроме капчи тоже?

[edward_freedom]

ложиться сервер или баниться ip? Если сервер падает, то как не крути, больше парсить не получится

[edward_freedom]

Pardon Me! Where Do I Find 4giveness?, что делать? - ложитЬся

[Евгений]

edward_freedom, ну а сервер "что делает?", а еще глаголы с "лаг", "лож" без приставки не употребляются.

[historydev]

Алексей Горбунов, я искал, сайт топ 10 поисковика, слизывает инфу на гос сайтах, после того как я их положил, по моему ко мне удалённо подключились и они сменили капчу с кнопкой на капчу с картинками, короче не желаю повторять опыт)

[historydev]

edward_freedom, банили по ip на другом сайте, здесь слава бубенчикам не банят)

Answer 1

[Евгений]

Парсите примерно одну страницу в секунду, так донор не ляжет. 10к за 3 часа спарсите.

Comments

[historydev]

Идея хорошая, попробую реализовать, ещё вопрос, не хотелось бы на своей машине больше таким заниматься, где можно развернуть подобное удалённо?

[Евгений]

Владимир, купите дешманский vds