Как реализовать парсинг ip адрессов с веб страниц на python?

Question

[Abdulyar]

Стоит задача пройтись по ссылкам сайта

www.zone-h.org/archive

открывать ссылки вида www.zone-h.org/mirror/id/22714269

и копировать поле с IP адрессом в единый текстовый файл.

Как посоветуете реализовать на Питоне? Какие посоветуете библиотеки/примеры использовать? Спасибо за советы.

Answer 1

[Heafy]

from urllib  import request
def getIP(urls):
	link = 'http://www.zone-h.org/mirror/id/22714269'
	requestToLink = request.Request(link)
	answerFromServ = request.urlopen(requestToLink).read()
	result = answerFromServ.decode('utf8')
	print (result[result.find('IP') + 20 : result.find('IP') + 37])

Не судите, решил вклиниться ради личного интереса как начинающий.
Это конкретный ip с конкретной страницы, возможно нужно улучшить место с поиском самого ip адреса.

Но как осуществить поиск всех ссылок на странице www.zone-h.org/archive?

from urllib  import request
def getUrls():
	urls = []
	link = 'http://www.zone-h.org/archive'
	requestToLink = request.Request(link)
	answerFromServ = request.urlopen(requestToLink).read()
	result = answerFromServ.decode('utf8')
	findIt = 'mirror/id'
	
	for findIt in result:
		urls.append(result[result.find('mirror/id') + 10 : result.find('mirror/id') + 18])
		result = result[result.find('mirror/id'):]
		
	return urls

На сколько я понимаю, в этом коде что-то не так со строкой
result = result[result.find('mirror/id'):]
Но что?)
Спасибо за ответы, и ещё раз - не судите исполнение, на днях начал читать Лутца и установил py3.4

Comments

[Abdulyar]

Спасибо, но! вы видели что бывает при запуске второго скрипта? :-)

[Heafy]

Да, он сырой из-за той строки, не знаю почему он не отрезает уже использованный кусок кода страницы..

[Heafy]

Дорвался до капчи, если владельцы это видят - прошу прощения :)
Вот "второй скрипт", возвращающий список из 20 id со страницы zone-h.org/archive:

def getUrls():
	urls = []
	link = 'http://www.zone-h.org/archive'
	requestToLink = request.Request(link)
	answerFromServ = request.urlopen(requestToLink).read()
	result = answerFromServ.decode('utf8')
	
	for i in range(1,21):
		position = result.find('mirror/id')
		url = (result[position + 10 : position + 18])
		result = result[position + 18 : len(result)]
		i+=1
		urls.append(url)
		
	return urls

WARNING: Работает медленно :)
буду рад советам по оптимизации)

Answer 2

[Вячеслав]

С помощью существующих средств Python:
1) С помощью urllib2 можно скачать страницу с www.zone-h.org/archive.
2) Найти на странице все нужные ссылки, например поиском с помощью regex.
3) Пройти по полученным ссылкам, с помощью urllib2 скачать страницу, из нее вытащить нужные строки (ip-адрес) и записать в файл
4) ...
5) PROFIT

Как скачать страницу с помощью urllib2 можно легко найти в интернете.
Как найти в большом тексте определенную строку - тоже не проблема.