Как реализовать парсинг с перебором адресов?

Question

[pproman]

Привет,
подскажите как реализовать:
Есть ссылка вида aaa.com/pic-123400000
на полученной странице есть ссылка на автора Serhii

Сохранить в файле всех авторов, перебрав 5 последних цифр ссылки. (от 123400000 до 123500000)

Только начал изучать Pyton, буду благодарен за помощь

Answer 1

[Andrey Dugin]

1) Пройтись в цикле по всем страницам
2) Скачать каждую страницу
3) Выпарсить оттуда нужные данные
4) Сохранить в файл

Comments

[pproman]

да алгоритм понятен, ничего ведь сложного нет совсем, интересует просто сама реализация на Pyton, просто только начал изучать его

[Andrey Dugin]

pproman: Судя по всему, Вы перепутали сайт, и Вам нужно на frilansim.ru. А здесь дают ответы на конкретные проблемы.

[pproman]

извините, я новичок здесь,
нужно наверно было свой кривой кусок кода дать.
Уже разобрался, через Grab и xpath, просто ошибки были

[Andrey Dugin]

pproman: Верно, кусок кода многое мог бы показать.

Answer 2

[pproman]

на полученной странице есть ссылка на автора Serhii -
a href="/gallery-17656594590p1.html" itemprop="author">Serhii

Answer 3

[Александр]

try:
	from urllib.request import Request, urlopen  # Python 3
except:
	from urllib2 import Request, urlopen  # Python 2
import os,re, base64
autors = {}
BROWSER = "Mozilla/5.0 Gecko/20100101 Firefox/36.0"
for i in range(123400000,123500000):
	s="http://aaa.com/pic-%d"%i
	autors[i] = re.findall(r'itemprop=\s?["\']?author["\']?\s?>(.+)<',urlopen(Request(s,None,{"User-Agent":BROWSER})).read())

А вообще регулярные выражения можно тестировать онлайн https://regex101.com/#python
также рекомендую добавить случайные задержки, а то некоторые сайты могут перестать отдавать контент посчитав это ДДОС атакой.