Как удалить дубликаты строк из списка?

Question

[Artyom Arutyunyann]

Спарсил ссылки в виде списка строк, но в получившемся списке есть дубликаты. Как избавиться от дубликатов?

Answer 1

[Ivan Yakushenko]

foo = [1, 1, 2, 2, 3, 4, 5, 6, 6]
foo = set(foo)
# {1, 2, 3, 4, 5, 6}

Answer 2

[Vad Sim]

def unique(lst):
    r=[]
    for i in lst:
        if i not in lst:
            r.append(i)
    return r

Comments

[Vad Sim]

Универсальная функция для удаления дубликатов.

[Web Dentist]

Вадим Симакин, чем вам set() не угодил?

[ZIK1337]

Web Dentist, возможно изменение порядка следования

[Ivan Yakushenko]

ZIK1337, тогда list(dict.fromkeys(foo))

[Руслан Гильфанов]

Web Dentist, тут ещё стоит помнить, что далеко не каждый объект можно положить во множество (set()). Как минимум, у объекта должен быть реализован метод __hash__(self), а возможно и метод __eq__(self, other).

Если бы ссылки были не строками, а объектами какой-нибудь библиотеки для парсинга -- ответ мог оказаться не валиден. При этом, вопрос в текущей формулировке выглядит общим.

[devdb]

Ivan Yakushenko, В старых версиях питона порядок ключей в словаре не гарантируется. Так что старый добрый перебор в цикле - более универсальное решение, хотя проверку можно и по-другому организовать (проверка item in list возможно будет долгой при очень длинном списке).

[Ivan Yakushenko]

devdb, OrderedDict существует и во 2й версии и ты не поверишь, но у него есть все те-же методы, что и у словарей.

[devdb]

Ivan Yakushenko, ну так сразу и надо было писать с OrderedDict, если ты о нём знал. А написал с dict, хотя явно сказали про порядок следования.

[Ivan Yakushenko]

devdb, что ты несешь, словарь упорядоченный. За старые версии питона ни слова нигде не написано, хватит фантазировать.

[devdb]

Ivan Yakushenko, Чего такой агрессивный? Тебе сказали, что может быть проблема в порядке следования элементов. Ты выдал сомнительное решение, подходящее только для последних версий питона, которое может вызвать проблемы, если версия питона на машине вдруг окажется более старой. И об этом не предупредил. Вместо того, чтобы быковать, просто стоило поправиться, и всё.