Почему запрос не возвращает ответ в Scrapy?

Question

[weranda]

Приветствую

КОД:

import scrapy
from scrapy.spiders import CrawlSpider
from scrapy import Request


class TestSpider(CrawlSpider):
	name = "test_spyder"
	allowed_domains = ["toster.ru"]
	start_urls = ['https://toster.ru/tag/scrapy/questions']

	def parse(self, response):
		title_1 = response.xpath('//h1/text()').extract_first()
		next_url = 'https://toster.ru/tag/crawling/questions'
		title_2 = Request(url=next_url, callback=self.parse_some)
		yield {'title_1': title_1, 'title_2': title_2}

	def parse_some(self, response):
		return response.xpath('//h1/text()').extract_first()

Не пойму почему вместо второго заголовка возвращается запрос:

{"title_1": "Scrapy", "title_2": "<Request GET https://toster.ru/tag/crawling/questions>"}

По идее должно возвращаться два заголовка: Scrapy и Crawling.
Укажите пожалуйста на ошибку и как ее исправить в конкретном коде. Если можно, то не предлагайте заполнять поле meta Request, а также ItemLoader's. Хотелось бы понять в чем конкретно ошибся здесь.

Answer 1

[Pavel Zamyatin]

Извините, но в данном коде все неверно. Хотел начать писать подробно, но это будет целая статья а не ответ.
Попробуйте переделать туториал по scrapy шаг за шагом: https://doc.scrapy.org/en/latest/intro/tutorial.html