Задать вопрос

Как в Scrapy сохранить результат в JSON при запуске из скрипта?

При запуски Spider-a из командной строки используется данная команда, чтобы сохранить результат в json
scrapy crawl MySpider -O MySpider.json
Как сделать тоже самое, но при запуски Spider-а из скрипта
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('MySpider', domain='scrapy.org')
process.start()
  • Вопрос задан
  • 145 просмотров
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 1
Maksim_64
@Maksim_64
Data Analyst
нужно добавить в settings.py он должен был создаться в вашем scrapy проекте.
FEEDS = {
    'filename.json': {'format': 'json'}
}
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы