Как извлечь IPv4 адреса из файла и сохранить их в другой средствами Python?

Question

[Sergey Lazarevic]

У меня есть дамп базы данных в формате sql, c более чем 10000 записями. Вопрос. Пытаюсь извлечь оттуда IPv4 адреса которые там хранятся с помощью скрипта-парсера на Python. Скрипт отрабатывает, но не правильно. Максимально получалось находить 70 IP адресов, и то там некоторые невалидные. Хотя в дампе более 10000 записей есть. Как грамотно организавать скрипт извлечения IP адресов с дампа средствами Python?
P.s гуглить пробовал, ничего не помогло.

Comments

[Алексей Черемисин]

Интересно, какие находит, а какие - нет? И как ищите? Код на питоне секретный?

[Sergey Lazarevic]

# importing the module
import re
import socket

fileToRead  = "dump.sql"
default_encoding = "UTF-8"
fileToWrite = "ip_a.txt"

delimiterInFile = [',', ';']

# using socket to validate
def validateIPAddressBySocket(ip_addr):
    try: 
        socket.inet_aton(ip_addr)
        return True
    except:
        return False

# using regex to validate
def validateIPAddressByRegex(ip_addr):
    if re.match("(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})", ip_addr):
        return True
    return False

def writeFile(listData):
    file = open(fileToWrite, 'w+', encoding='UTF-8')
    strData = ""
    for item in listData:
        strData = strData+item+'\n'
    file.write(strData)

listIP = []
file = open(fileToRead, 'r', encoding='UTF-8') 
listLine = file.readlines()

for itemLine in listLine:
    item =str(itemLine)
    for delimeter in delimiterInFile:
        item = item.replace(str(delimeter),' ')
    
    wordList = item.split()
    for word in wordList:
        if(validateIPAddressByRegex(word)):
            listIP.append(word)
if listIP:
    uniqIP = set(listIP)
    print(len(uniqIP),"IPs collected!")
    writeFile(uniqIP)
else:
    print("No IPs found.")

[Sergey Lazarevic]

Алексей Черемисин, коллектит всего 12 айпишек (ну хоть валидных). Но в дампе все равно их выше крыши

Answer 1

[o5a]

Скорее всего проблема в самом поиске.
Вместо поиска просто regexp IP по всей строке (re.search, re.findall) Вы пытаетесь разбить ее на слова:
wordList = item.split()
Но это же разбивает по пробелам. А если пробелов нет, то ничего и не найдет, тем более, что на пробелы заменяете только [',', ';']. Если в дампе строка например
insert into .... values ('1.1.1.1','5.5.5.5')
то он их и не найдет.
Проще брать всю строку и искать через re.findall (сам шаблон такой же оставить).

Comments

[Sergey Lazarevic]

Спасибо большое! Все спарсилось. Как же я сам до этого не догадался) Видимо надо regex подучить

Answer 2

[Алексей Черемисин]

Конечно же нужно доставать регекспом, вот здесь рецептов выше крыши - https://www.oreilly.com/library/view/regular-expre...

Answer 3

[Сергей Карбивничий]

Заганяете sql в базу данных sqlite3, потом с помощью скрипта вытягиваете ip-адреса с нужного столбца. Или скиньте пример sql файла.