Scrapy — input_processor?

Question

[Dennis]

Привет всем!
items.py:

import scrapy
from scrapy.loader.processors import MapCompose

def filter_spaces(value):
    return value.strip(" ").strip("\n")

class LotItem(scrapy.Item):
    num = scrapy.Field(input_processor=MapCompose(filter_spaces))

spider.py:

def parse_item(self, response):
    item = LotItem()                    
    item['num'] = response.xpath('//div/span/text()').extract()[0]
    yield item

response.xpath('//div/span/text()').extract() возвращает строку типа:

"\n1234 "

А мне нужно получить - “1234”
Но мой код не работает. Почему?
Спасибо!!!

Answer 1

[Dimonchik]

разве не

item['num'] = response.xpath('//div/span/text()').extract()[0]
 item = LotItem()

будет правильно?

ну а вообще
strip()
режет пробелы и переводы в конце строки и так, и вполне можно

item['num'] = response.xpath('//div/span/text()').extract()[0].strip()

Comments

[Dennis]

спасибо! extract()[0].strip() помогло... но теперь такой вопрос :) - есть свойство city и оно в объекте часто выходит вот так - {"city": "G\u00fcnzburg"} потому что немецкий язык и там есть буквы с двумя точками над буквой. Я попытался сделать вот так - extract()[0].encode("utf-8") ... но не помогло ... как сделать так чтобы видеть эти немецкие буквы?

[Dimonchik]

не в немецкой консоли - никак
просто пишите в базу и клиентом смотрите