Как работать со Scrapy через командную строку на Ubuntu?

Question

[maximkalga]

Подскажите пожалуйста, как в Scrapy реализовать функцию передачи start_urls, start_page, end_page через аргументы командной строки?

Answer 1

[Станислав Фатеев]

Вот элементарный пример работы с аргументами, парсите ввод, пихайте нужное в переменные и отдавайте scrapy

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import sys

if __name__ == "__main__":
    for param in sys.argv:
        print (param)

Comments

[egorsmkv]

А лучше использовать какую-нибудь библиотеку, чтобы не придумывать велосипед.

Answer 2

[sakuradaj]

Если правильно понял что вам нужно то:
stackoverflow.com/questions/15611605/how-to-pass-a...
doc.scrapy.org/en/latest/topics/spiders.html#spide...

Comments

[maximkalga]

спасибо, это то, что я искал.