Python: как проверить URL на правильность?

Question

[JRazor]

Здравствуйте. Возникла проблема следующего характера: Scrapy глохнет при скармливании ему неправильного URL. Парсинг останавливается и дальнейшие URL не проверяются (например, "adsabs.harvard.edu/full/2002JIMO...30..199R").

Поэтому было придумано получать код ответа от URL через httplib. Была украдена функция со stackoverflow.com:

def get_status_code(self, host, path="/"):
        """ This function retreives the status code of a website by requesting
            HEAD data from the host. This means that it only requests the headers.
            If the host cannot be reached or something else goes wrong, it returns
            None instead.
        """
        try:
            conn = httplib.HTTPConnection(host)
            conn.request("HEAD", path)
            return conn.getresponse().status
        except StandardError:
            return None

Если код возвращает 200 - URL проходит, в остальных случаях - игнорируется. Но дело в том, что такая проверка очень долгая. Отправить запрос на каждый URL (а их порядка 30к) - это значительно замедляет парсер.

Была задумка проверять RegExp'ом, но пока хочу послушать, что скажут более опытные коллеги.

Может ли кто-нибудь порекомендовать альтернативный метод решения проблемы?

Answer 1

[JRazor]

Проблему решил. Познакомился с функцией errback (альтернатива callback в Request запросах Scrapy).

Answer 2

[throughtheether]

Scrapy глохнет при скармливании ему неправильного URL.

А вы пробовали к ресурсу, адресуемому этим URL, обратиться браузером? У меня открывается статья, с библиографическим номером 2002JIMO...30..199R. Более того, при помощи requests я получаю HTTP 200 в ответ на HEAD:

>>> import requests
>>> response = requests.head('http://adsabs.harvard.edu/full/2002JIMO...30..199R')
>>> response
<Response [200]>

Есть мнение, что вы не до конца понимаете проблему, которую хотите решить. Предлагаю разобраться, почему

Scrapy глохнет при скармливании ему неправильного URL

(и так ли это вообще, может быть, эти явления не связаны). Может быть, сайт временно не работоспособен? Может быть, сервер вас (или ваш прокси) блокирует? Может быть, это ошибка Scrapy?
Зафиксируйте URL и проверьте, всегда ли (при каких условиях) Scrapy его [не]корректно обрабатывает.

Comments

[sim3x]

>ременно не работоспособен
при таком тоже не глохнет

[JRazor]

Да я прекрасно понимаю, что Scrapy отлично обрабатывает исключения, но стоит скормить ему URL без кода возврата - начинается нечто интересное. Как можно обработать код возврата в любом случае?

Answer 3

[yttrium]

стучаться по урлам это не есть гуд
надо парсить урл вот чем https://docs.python.org/2/library/urlparse.html
или re

Comments

[JRazor]

То, что вы предложили - я уже знаю. Отличная штука, удобная, но....не то. Это разбор строкового URL на части: http, domen, path, бла-бла-бла. Выше приведенный URL воспринимается нормально и, следовательно, в данном случае urlparse бесполезен.

[yttrium]

прозвучало "неправильного URL".. я заподозрил URL который не соответствует требованиям URI.. приведите примеры неправильного URL

[JRazor]

Приводил пример выше: adsabs.harvard.edu/full/2002JIMO...30..199R. На таком URL Scrapy просто остановится, завершится и остальные URL не проверит.

[yttrium]

да.. сорри.. както проглядел.. в этом случае URL соответствует общепринятой записи URI. А для вашей задачи посоветовал бы выделить критерии неправильности, и описать их регулярным выражением. Если не удасться выделить критерии, то остаётся только ваш способ, который возможно и производит единственную необходимую проверку "есть ли отклик по URL".

[JRazor]

Есть ли более быстрый способ проверить отклик? Не грузить страницу, а просто проверить доступность URL?

[JRazor]

У меня более 30К URl. Описать все критерии не представляется возможным

[yttrium]

urllib2.urlopen('www.python.org') отбрасывает исключение даже если не делать ему read()

Answer 4

[Lo-fi]

adsabs.harvard.edu/full/2002JIMO...30..199R – это не URL.
Почитать и понять можно тут и тут (стоит сразу искать вхождение 'Parsing a URI Reference with a Regular Expression').
Наверное тут уже были stackoverflow.com/questions/7160737/python-how-to-...

Comments

[yttrium]

т.е. URL именно не URL потому что match'ится тем самым регулярним вырежением или потому что кликая по этому URL открывается веб-страница?

[Lo-fi]

Кликая по нему, http:// приклеивает браузер. В старых браузерах эта ссылка может и не открываться. А не URL потому что не удовлетворяет регулярке из RFC.

[JRazor]

Как ни странно, этот адрес таки открывался и прекрасно работал. Если такой вариант URL не удовлетворяет регулярке RFC, но мне необходимо с ним работать, не кажется ли вам глупым обсуждение валидности этого адреса? Я уже сверху объяснял, что проверять валидность мне не нужно: мне нужен код возврата. Проблему уже решил. Как - ниже.