Scrapy: как после response.xpath получать один элемент, а не список?

Question

[JRazor]

Здравствуйте, уважаемые тостеровцы.

Уже который скрипт пишу на Scrapy и возник вопрос, который я не смог решить сам: предположим есть такой код -

def parse_item(self, response):
        sel = Selector(response)
        image = sel.xpath('//*[@id="listing-images"]/div/a/@href').extract()[0]
        name =  sel.xpath('//*[@id="main"]/div/h1/text()').extract()[0]

При запросе sel.xpath('').extract() возвращается список. Разумеется, приходится либо join'ом, либо через [0] превращать список в один элемент. Но с этим связан ряд проблем: join'ы прописывать каждый раз - бред, а [0] может вернуть ошибку после пустого списка.

Собственно вопрос - есть ли альтернатива extract'у? Как вернуть после xpath один элемент?

Answer 1

[Ху Нью]

first_or_none = lambda x: x[0] if x else None
Вот вам небольшая лямбда функция, которая возвращает первый элемент последовательности или None.

Comments

[JRazor]

Это весьма неплохой способ решения проблемы, но какой-то unpythonic. Я надеялся, что есть в Scrapy какая-то функция хитрая, которую я пропустил. Но вас способ тоже очень интересен, спасибо за ответ. Пока воспользуюсь им:)

[Ху Нью]

JRazor: Функция extract() всегда возвращает список. Для python-way могу предложить переписать обработку ваших image и name как списки.

Answer 2

[lololololo]

Как вернуть после xpath один элемент?

Как вернуть один элемент если их 0?

Comments

[JRazor]

Очевидно, никак. Вопрос стоит так, что элементов всегда будет больше 0 (в моем случае, на сайте может не быть телефона или адреса, но всегда есть имя и изображение).

[lololololo]

>а [0] может вернуть ошибку после пустого списка.

[lololololo]

JRazor: кстати, а скрапи в css случайно не может?

[JRazor]

Вы вообще читаете то, что я пишу? В моем случае - не может, потому что элементов всегда больше нуля. У меня была специальная функция для обработки списка. Подобная лямбда функции выше, но не лямбда (я забыл чего-то про такую возможность). Но дело в том, что оба варианта выглядят топорно. Вопрос стоит о поиске альтернативе .extract(). Вдруг я упустил что-то. Но видимо нет, придется и дальше использовать функцию.

[JRazor]

lololololo: Он может найти CSS файл, но разбирать его не может. Разбирать, к сожалению, придется RegExp'ом. Вообще странные у вас потребности - разбор CSS :)

[lololololo]

JRazor: имел в виду cssselect. lxml, который он наверняка юзает, можетв него.

Я что-то не пойму, что вас смущает. Или писать лишний [0], или то, что он может кинуть исключение на пустом списке?

[JRazor]

lololololo: Меня смущает подход. Просто я не люблю вот такие конструкции: commmand(command(command.command()).command()). Изначально я просто искал другую команду вместо extract'a. Чтобы можно было сразу получить строку и не городить тут велосипеды и костыли.

[lololololo]

Лишний extract()[0] мешает? Ну не так уж кошмарно. В grab есть для этого css_one()

[lololololo]

Меня text() немного напрягает, я в lxml как-то без него обходился.