Какую программу использовать как аналог Scrapyd для пауков Scrapy, написанных на python3?
Доброго времени суток!
Установил Scrapy, как и описано в документации, используя virtualenv (python3.4) [OS debian stable x64], написал несколько пауков и встал вопрос как их развернуть. Как выяснилось, Scrapyd не поддерживает python3, а использовать Scrapy Cloud мне бы не хотелось.
В связи с этим прошу помочь в поиске аналогов или советов как сделать простенький аналог на коленке. Меня в первую очередь интересует возможность постоянного функционирования некоторых пауков, а также регулярный запуск других пауков с параметрами.
Спасибо за ответ. К сожалению, судя по всему "Scrapyrt only supports python 2 for the moment." Поэтому придется и вправду решать задачу с помощью cron или systemd, чего хотел избежать, т.к. не особо хорошо их знаю.
Destado: я не совсем уверен, но похоже, что раннер (scrapyd) не обязан иметь тот же питон, что и сам скрапи - он просто стартует проеект и общается с ним по апи
Не обязан, ставятся они отдельно, однако скорее всего (не проверял) раннер под питон2 будет пытаться запускать пауков тоже под питон2, что вызовет ошибки... А учитывая, что скрэппи рекомендуется (в доках) ставить в virtualenv я вообще не уверен, что смогу все это собрать воедино :) Да и, честно говоря, не хочется иметь софт под разные версии питона.
Поэтому видимо буду использовать cron или systemd... Все равно рано или поздно стоит их освоить.
