Как максимально быстро пройтись по списку из URL-ов, получить код (200 ОК или...) и записать в файл результат вида URL — 200 OK?

Question

[Mindless_kiev]

Есть задача: максимально быстро пройтись по списку из URL-ов, получить код ( 200 ОК или...) и записать в файл результат вида URL - 200 OK.
Скрипт уже написан на python 3.3 с использованием urllib, но работает неприемлемо долго.
Собственно вопрос: можно ли средствами python сделать это гораздо быстрей?

Заранее спасибо.

Answer 1

[avalak]

0. Не закрывать соединение после каждого запроса (зависит от того как у вас реализованно сейчас и что вы опрашиваете)
1. Использовать HEAD request
2. Использовать потоки (распараллелить)
3. Использовать gevent (с поддержкой python3 всё сложно). Тем не менее оно отлично дружит с requests, а на нём реализовать это не проблема вообще
4. Использовать шикарную библиотеку requests

Answer 2

[Damir Makhmutov]

HTTP HEAD Request

Очевидно нужно просто отправить HEAD запрос ресурсу.
Примеров довольно много

Answer 3

[IamG]

основное время уходит на ожидание сетевого ответа. можно конечно распараллелить через треды, но
сложность кода возрастёт.
рекомендую сделать на twisted, он на такого рода задачи рассчитан.
не более экрана строк займёт, правда он только с python 2.x работает.

Answer 4

[Ilya Evseev]

Самый быстрый способ - через асинхронный фреймворк, без потоков и тем более процессов.
Главный асинхронный фреймворк для Питона сейчас Твистед.
Вот ссылки на документацию и примеры:
stackoverflow.com/questions/2147148/twisted-http-client

Answer 5

[Сергей]

Если обязательно использовать Python, то я бы взял gevent и urllib2. Вместо использования HEAD (который многие серверы не понимают) советую просто не скачивать тело ответа.

Вот тут пример есть https://github.com/surfly/gevent/blob/master/examp... но он совсем уж простой - на практике лучше иметь пул из ограниченного числа гринлетов.

Ну и строчку
data = urllib2.urlopen(url).read()
нужно заменить на

resp = urllib2.urlopen(url)
print resp.getcode()
resp.close()

Чтоб только заголовки качать, без тела.

Насчёт keep-alive лучше не заморачивайтесь, это экономия на спичках (если только у вас не все запросы к одному серверу)

Twisted лучше не смотрите - это безперспективняк =)

Answer 6

[justabaka]

Если скрипт не должен быть только на питоне, можно попробовать вызывать curl в несколько потоков :)

А вообще, уже было на SO безо всякого питона: stackoverflow.com/questions/6136022/script-to-get-...

Answer 7

[dbihbka]

Для распараллеливания urllib2 очень удобно использовать monkey_patch из gevent

Answer 8

[Mindless_kiev]

Спасибо всем откликнувшимся.
Жаль, что для python3.x некоторые решения не подходят.