Как удалить уникальные дубли?

Question

[CrimsonFox]

Задача заключается в следующем - у меня есть два файла эксель и мне нужно провести между ними сравнение по одному из столбцов. В самом столбце название кампаний, из которых мне нужна только одна, но - её название пишут кто как и, соответственно, задача включает преобразование всего разнообразия к единому значению для возможности обработки.
И собственно вопрос в следующем - как мне взять всё это многообразие (а файлы на 70+к строк) и перебором или же какой-то из подфункций replace() преобразовать всё это. В качестве уточнения - перебирать всё и поштучно переименовывать - мазохизм, переименовать вообще всё тоже нельзя, а как написать аналог %like я в питоне как-то не нашел.

Comments

[mayton2019]

Грубо говоря у тебя один лист - это справочник компани (эталон). А второй -в котором надо переименовать?

[Viktor T2]

Применение библиотеки FuzzyWuzzy для нечёткого сравнения в Python https://habr.com/ru/articles/491448/
Как использовать нечеткую логику сопоставления ... https://www.placekey.io/blog/fuzzy-logic-address-m...
Инструменты Python для связывания записей и нечеткого сопоставления https://pbpython.com/record-linking.html
Либа для нечеткого сравнения https://github.com/seatgeek/thefuzz
Можно еще попробовать в Soundex проиндексировать https://pypi.org/project/ru-soundex/

[Модератор]

На вопрос «как сделать» отвечает документация и поиск в интернет.

Тут отвечают на вопросы «почему я сделал, как в документации, а оно не работает. Поискал в интернет, вот запросы, в ответах не нашел. Что я делаю не так?»

Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.
За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.

[Алан Гибизов]

Если нет кода python, не ставьте тэг python.

Answer 1

[Vindicar]

Ну слушай, если пишут совсем кто как, то ничего не поделаешь. Как ты определишь, вариантом названия какой компании является текущее?

Да, можно использовать расстояние Левенштейна для поиска наиболее похожих строк, но и тогда нет гарантий, что пользователь не извратит название достаточно сильно.
Можно использовать регулярки из модуля re, но их придётся для каждой компании составлять вручную.

По хорошему-то вообще не стоит использовать названия как идентификатор, особенно вводимые пользователем. Но это скорее совет на будущее.

Answer 2

[Максим Припадчев]

читаешь оба файла в pandas фрейм. Затем сравниваешь, заменяешь, применяешь regex или все что тебе захочется.
для сравнения псевдо код будет такой. df1['колонка'] == df2['колонка']. Для замен да все что угодно методы, replace, where и т.д. В общем решай pandas'ом а там будут проблемы, сообрази игрушечный фрейм маленького размера, и приходи с ним поможем. Читать файл функцией read_excel.

Answer 3

[Dimonchik]

Вектор и Вектор+ - разные компании поэтому в общем виде задача не решается, решается только вот этими всеми ОКПО / ИНН и т.п.

но полуавтоматом - как описали выше - выбираешьт левенштейном похожие, конфирмишь, и заменяешь автоматом похожие на целевые, при должном подходе их никак не больше 20-50 штук