Как правильно подойти к множеству запросов на сторонний сервер по расписанию?

Question

[Гура]

Здравствуйте, возник серьезный вопрос который требует разумного решения. Требуется реализовать скрипт который будет по расписанию отправлять запросы на сторонний сервер. Если бы это был один запрос, это не составило бы никаких проблем. PHP curl в помощь. Но за один запуск нужно выполнить минимум 200 запросов, по этому php отпадает. Реализовать это на своем PC непроблема, например на языке pyton но мне нужен более-менее стабильный uptime, с этим трудности. По этому это все нужно реализовать на хостинге, но честно говоря, я не представляю - какую нагрузку я буду давать и сколько мне обойдутся такие услуги.

Собственно суть вопроса, спецы, ответьте пожалуйста. На что мне стоит обратить внимание? Что нужно учесть? Что лучше юзать? Поделитесь опытом.

Цель: максимум запросов, минимум нагрузки, минимум расходов.

Answer 1

[Александр Таратин]

Язык не будет иметь значения, все равно в сеть упретесь.
Можно и php использовать https://github.com/chuyskywalker/rolling-curl

Comments

[Гура]

В сеть - всмысле в трафик? Как просчитать сколько кушает один запрос?

[ThunderCat]

Гура: скорее не в трафик а ширину пропускного канала, думаю на хостинге с этим особых проблем быть не должно, если хостинг нормальный. А сколько один запрос - делаете курл, смотрите сколько занимает тело ответа.

[Гура]

Мизер, я получаю в ответ 1 или 0, я на протяжения года парсил более 100 rss лент, каждые 10 минут. Использовал php curl. На приходилось ставить много задач на cron из-за лимита на php, так вот думаю, может лучше юзать python?

Answer 2

[malbaron]

Что?
И PHP и Python в данной задаче равны по возможностям.

Тут скорее схлопочите бан с целевого сервера за попытку "типа DDoS-сить его",
чем превысите серьезно лимиты арендуемого вами сервера.

Если конечно каждый ваш запрос не будет требовать слишком сложной обработки с привлечением СУБД или т.п.

А просто 200 запросов к удаленному серверу, скажем, раз в 5 минут - это околонулевая загрузка.
Потянет хостинг за 50 рублей в месяц.

Comments

[Гура]

На сервер к которому я обращаюсь разрешено делать 3 запроса в секунду. Мне нужно всего 2. То есть 200 запросов должно занять 200 сек за один цикл. Думаю может все таки стоит использовать прокси? Php ограничен в 30 секунд, python не имеет сего ограничения. Или хостер без проблем может его снять?

[Александр Таратин]

Гура: >Php ограничен в 30 секунд
Ограничение накладывается хостингом в настройках php или в
php.net/manual/ru/function.set-time-limit.php
php.net/manual/ru/info.configuration.php#ini.max-e...

При запуске php скриптов как консольных из крона, ограничения не должны срабатывать.
>python не имеет сего ограничения.
Для питона вам понадобится vps или что-нибудь в стиле heroku. ИМХО деньги в пустую.

[malbaron]

Гура: Python, настроенный именно на веб-сервер - также имеет ограничения
;)

Я имел ввиду - VDS за 50 рублей. На вы можете позволить себе любые настройки.