Как запустить парсер на сервере?

Question

[Сергей БАрд]

Всем привет. Вот значит какая проблемка, Написал значит я парсер на scrapy у себя на локалке (Питон начал изучать не так давно), так вот в процессе работы я устанавливал разные доп. модули для базы и т.д., теперь когда у меня все готово мне нужно перенести этот скрипт на сервер и сделать так что бы он срабатывал по времени (сделать крон), но я никак не могу понять как это сделать, изучая питон натыкался на virtualenv и понял что я до этого момента делал все не так), и парсер как вы понимаете который нужно запускать командой "scrapy crawl [name]", я написал без виртуального окружения(, дайте пожалуйста совет в каком направлении рыть, Как я понимаю мне нужно мой парсер запихнуть в virtualenv установить внутри нужные модули и закинуть на сервер?, только что дальше мне ж нужно чтобы виртуальная среда запускалась на сервере и запускала сам парсер (поискав в нете я нашёл подобные ссылки), мне тоже нужно делать по этому примеру (разумеется вместо джанги у меня будет мой парсер), или я себя загнал не туда куда нужно и это все делают намного проще???

Answer 1

[DevMan]

эмм... поднимаешь на сервере virtualenv
-> ставишь нужные модули
-> заливаешь парсер
-> пользуешь

Comments

[Сергей БАрд]

ага, вот нашёл примерный ответ), т.е. нужно на сервере установить virtualenv со всем необходимым а потом на крон поставить вот это?

#!/bin/bash
#заходим в папку с окружением
cd '/path/to/spider/activate'
# активируем
source venv/bin/activate
#заходим в папку с парсером
cd '/path/to/spider/my_spider_1'
# запускаем парсер
scrapy crawl my_spider_1

я правильно понял?)

[DevMan]

Сергей БАрд, угу

[Сергей БАрд]

DevMan, спасибо за помощь!)

[DevMan]

Сергей БАрд, пожалуйста)
пишите, если чо;)

[Сергей БАрд]

DevMan, появился новый вопрос), вообщем я уже несколько часов пытаюсь поставить окружение нормально но ничего не выходит(, там при установки модулей разные ошибки из-за которых нужно ставить доп. модули не в само окружение, а на глобальном уровне (ну типа через sudo), а к судо у меня доступа нет, попросил поставить некоторые модули под root но после этого там отказались работать разные службы, а устанавливал всего лишь libmysqlclient-dev, вообщем полная труба, но уйти от него сейчас нет возможности), так вот я у себя на локалке сделал virtualenv все как мне нужно с модулями и залил на сервер, но когда его запускаю на сервере (сейчас говорю только о virtualenv), то внутри него ничего нет ни pip ни scrapy и т.д., на локалке все есть, а при переносе полной папки с файлами нет. Можете подсказать почему так?

[DevMan]

Сергей БАрд, сори у меня сейчас нет возможности ответить нормально.
гуглените как переносится виртуаленв на другой комп, на стеке есть примеры.
ну или я распишу часов через 15.

[Сергей БАрд]

DevMan, как будет возможность отпишитесь пожалуйста, потому что все что я нахожу это pip freeze > requirements.txt но потом на сервере виртуалка все равно не может загрузить те файлы которые я до этого пробовал установить сам

[DevMan]

Сергей БАрд, при таких раскладах либо нужно переезжать на впс с нормальным доступом, либо забить.

Answer 2

[Evgen]

Если вы установили на сервер модули без virtualenv, и нужно запустить по крону, то так:
1) which scrapy - берёте путь
2) crontab -e
1 * * * * cd /home/ubuntu/scrapy/scraper && /usr/local/bin/scrapy crawl your_parser

Comments

[Сергей БАрд]

нет модули на сервере не установленные, вообще сервер не личной мой и там такой гемор что просто жуть), там все типа так, человек арендовал большой сервер, потом его разделил на части и продает под аренду сайтам и т.д., и там по сути что бы даже установит ьчто-то через sudo нужно этому человеку писать, я из-за этого и начал тему в направлении virtualenv что бы все можно было залить сразу и потом это как-то кроном запустить)