Urllib2 в python: не получается получить страницу, как в таком случае перейти к следующей странице?

Question

[Андрей]

Получаю страницу в python следующим образом:

for x in range(1, 10):
   response = urllib2.urlopen("http://site.com/id="+str(x))
   page = response.read()

Иногда случаются такие проблемы, что страницу не получается получить. Как в таком случае перейти к следующей странице?

Т.е., допустим, пытаемся получить страницу site.com/id=3, но она не отвечает. Как перейти дальше к странице site.com/id=4?

Answer 1

[Константин Довнар]

Если выдает исключение - ловите его try\except'ом, тогда программа не будет прерываться.

Answer 2

[Валерий]

У вас есть 2 варианта:
1. Перед отправкой get-запроса отправлять head-запрос с целью проверить какой код вернется (в этом случае исключение не вызывается).
2. Ловить исключение отправки get-запроса, как сказал @SolidlSnake блоками try/except.

Довольно понятные примеры на оба этих варианта приведены вот здесь:
stackoverflow.com/a/16778473