Как запустить парсер на сервере?

DevMan, как будет возможность отпишитесь пожалуйста, потому что все что я нахожу это pip freeze > requirements.txt но потом на сервере виртуалка все равно не может загрузить те файлы которые я до этого пробовал установить сам

Как запустить парсер на сервере?

DevMan, появился новый вопрос), вообщем я уже несколько часов пытаюсь поставить окружение нормально но ничего не выходит(, там при установки модулей разные ошибки из-за которых нужно ставить доп. модули не в само окружение, а на глобальном уровне (ну типа через sudo), а к судо у меня доступа нет, попросил поставить некоторые модули под root но после этого там отказались работать разные службы, а устанавливал всего лишь libmysqlclient-dev, вообщем полная труба, но уйти от него сейчас нет возможности), так вот я у себя на локалке сделал virtualenv все как мне нужно с модулями и залил на сервер, но когда его запускаю на сервере (сейчас говорю только о virtualenv), то внутри него ничего нет ни pip ни scrapy и т.д., на локалке все есть, а при переносе полной папки с файлами нет. Можете подсказать почему так?

Как запустить парсер на сервере?

нет модули на сервере не установленные, вообще сервер не личной мой и там такой гемор что просто жуть), там все типа так, человек арендовал большой сервер, потом его разделил на части и продает под аренду сайтам и т.д., и там по сути что бы даже установит ьчто-то через sudo нужно этому человеку писать, я из-за этого и начал тему в направлении virtualenv что бы все можно было залить сразу и потом это как-то кроном запустить)

Как запустить парсер на сервере?

DevMan, спасибо за помощь!)

Как запустить парсер на сервере?

ага, вот нашёл примерный ответ), т.е. нужно на сервере установить virtualenv со всем необходимым а потом на крон поставить вот это?

#!/bin/bash
#заходим в папку с окружением
cd '/path/to/spider/activate'
# активируем
source venv/bin/activate
#заходим в папку с парсером
cd '/path/to/spider/my_spider_1'
# запускаем парсер
scrapy crawl my_spider_1

я правильно понял?)

Как перенести laravel на сервер?

IceJOKER, а ещё такой вопрос если у меня проект на php 7 на сервере основным показывает 5.4 но 7 тоже есть

то оно все равно будет выдавать ошибку? и для меня единственное решение это будет использовать docker?

Как перенести laravel на сервер?

вы правы версии разные(, спасибо за совет с Docker-ом)

Как перенести laravel на сервер?

zorca, уже посмотрел версии действительно разные(

Как установить супервизор на сервер?

zorca, т.е. лучше всего устанавливать как все рекомендуют - sudo apt-get install supervisor, а идея с pip т.е. virtualenv не очень?)

Почему на серверах стоит python 2.7?

спасибо

Почему на серверах стоит python 2.7?

спасибо, понял

Как в scrapy записать данные в BD MySQL?

Astrohas, спасибо большое за помощь, мне в middlewares вообще не нужно было залезать, тут все сделано как мне нужно)

Как в scrapy записать данные в BD MySQL?

Astrohas, покопался и понял что у меня первым срабатывает pipelines.py а middlewares.py нет, но разве так должно быть?, у меня ж данные о подключении в middlewares.py и сначала должен сработать connect чтобы потом можно было работать дальше, и если мы сделаем подключение в pipelines то у нас connect будет срабатывать каждый раз , или я не понимаю что-то?)

Как в scrapy записать данные в BD MySQL?

Astrohas: а что может вызывать эту ошибку?
AttributeError: 'CraigslistPipeline' object has no attribute 'cursor'
доступы к базе все рабочие, проверил вот так
import mysql.connector
mysql.connector.connect(host='host', database='database', user='user', password='password', charset='utf8', use_unicode=True)

Какой парсер самый быстрый по сравнению с другими языками?

выдел эту статью ранее, но актуальна ли информация?, все таки 5 лет прошло уже)

Какой парсер самый быстрый по сравнению с другими языками?

спасибо

Как найти хуки для woocommerce?

перепробовал много чего из этого, но ничего не работает
woocommerce_cart_item_removed
woocommerce_remove_cart_item
этих последние пробовал

Почему постоянно растет высота страницы, если сделать dump?

Alex Wells: это да), я только не могу понять почему тогда начинает расти высота

Функции работают как нужно, но только после их включения появляется этот баг с высотой, не понятно из-за чего

Как изменить title в wordpress который выводиться через wp_head?

скорее вот так

Почему постоянно растет высота страницы, если сделать dump?

Aset: а почему тут все работает нормально после вывода через dump? (31 минута 55 секунда)