Как сгруппировать ip по /24?

Question

[newPsevdonim]

У меня список ip мне нужно сгруппировать их по /24. Для этого я написал следующий скрипт:

mask_dict = {}

for i in test:
    mask = IPv4Network('{}/24'.format(i), strict = False)
    for j in test:
        if IPv4Address(j) in mask:
            if mask in mask_dict:
                mask_dict[mask].append(j)
            else: 
                mask_dict[mask] = [j]
            test.remove(j)

Но он почему-то не проходит по всем ip из списка, почему это может происходить и можно ли это сделать как-то быстрее.

Answer 1

[shurshur]

Ошибка в том, что не надо в процессе итерации по списку удалять из него элементы. Результат может быть непредсказуем.

И вообще, код какой-то безумный. Задачу можно решить в один цикл, примерно так:

mask_dict = {}

for i in test:
    mask = IPv4Network('{}/24'.format(i), strict = False)
    if mask in mask_dict:
        mask_dict[mask].append(i)
    else: 
        mask_dict[mask] = [i]

Comments

[newPsevdonim]

без удаления да
идея была в том, чтобы сократить время работы за счет удаления

[shurshur]

newPsevdonim, две итерации цикла по одному массиву вряд ли что-то сократят. Будет вместо O(n) сложность O(n^2).

Answer 2

[Dimonchik]

быстрее делай через мультитред / мультипроцессинг

Comments

[newPsevdonim]

Dimonchik а в чем ошибка?

[mayton2019]

Тут - единственная потенциально тяжелая функция - это IPv4Address. Если ее как-то переписать или упростить тогда быстрее будет.

А сколько вообще адресов в списке?

[newPsevdonim]

mayton2019, 100тысяч и меня волнует больше почему изначальный список не обнуляется, ведь по идеи он должен собрать все ip в словарь и колличество в нем должно быть в конечном счете равное 0