Как удалить подстроки в строках в txt файле?

Question

akimdi @akimdi

Как удалить подстроки в строках в txt файле?

Есть текстовый файл user.js

https://gist.githubusercontent.com/anonymous/8b1e7...

в нем есть множество строк с повторяющимися подстроками.
Например есть 1189-ая строка
"user_pref("geo.wifi.uri", ""); // comments;"

и есть 12-ая строка
"user_pref("geo.wifi.uri", "");"

с точки зрения текстового редактора это разные строки, а с точки зрения логики это одинаковые строки.

И таких примеров(строк) там много.

Как сделать так, что бы удалить эти повторяющиеся строки?

Вопрос задан более трёх лет назад
486 просмотров

Комментировать

Подписаться 2 Оценить Комментировать

Решения вопроса 1

8 комментариев

akimdi @akimdi Автор вопроса

https://gist.githubusercontent.com/anonymous/483ed...

спасибо, скрипт кое-что конечно удалил, но не всё.
в файле user_nodup.js остались строки:
122 строка "user_pref("keyword.enabled", true);"
и 432 строка "user_pref("keyword.enabled", true);"

и еще неизвестно сколько таких строк осталось.

Написано более трёх лет назад
akimdi @akimdi Автор вопроса

искал ещё решение на opennet
https://www.opennet.ru/base/dev/sed1line.txt.html
вроде бы нашел, но оно не работает
Удалить дубликаты непоследовательных строк в файле. Остерегайтесь
переполнения буфера или используйте GNU sed: (Beware not to
overflow the buffer size of the hold space)

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

Написано более трёх лет назад
longclaps @longclaps

akimdi: Мне не нравится этот разговор. В вопросе ты дал явный образец строки, которую надо прибить. Я накропал скрипт для этого. Теперь ты нашел другой пример. Думаю, будет и третий - в твоих данных говна навалом. Вот только, прости, я не стану разгребать его чайной ложкой. Не можешь сам допилить скрипт - потрудись полностью описать задачу.

Написано более трёх лет назад
akimdi @akimdi Автор вопроса

longclaps: я очень благодарен Вам, за помощь, но всё же я изначально писал что:

"И таких примеров(строк) там много.

Как сделать так, что бы удалить эти повторяющиеся строки?"

то есть строка "user_pref("geo.wifi.uri", "");" это лишь пример, коих может быть много.

Есть множество непоследовательных строк которые повторяются.

Это как например в списке:
Иван
Маша
Алексей
Иван
Федор
Маша
Андрей
Петр
Иван

Вот строка "Иван" здесь повторяется три раза и строка "Маша" дважды, как сделать так что бы удалить все повторяющиеся строки и оставить только каждую строку в единственном экземпляре.

Что бы на выходе получилось:
Иван
Маша
Алексей
Федор
Андрей
Петр

То же самое и в моём файле. Есть строки N количества (я не знаю конкретно сколько их) и нужно удалить дубликаты строк и оставить только одну.

Написано более трёх лет назад
longclaps @longclaps

akimdi: Хорошо, еще попытка, вот пример уточнения задачи:
- интересуют (только строки, начинающиеся с user_pref) / (другой вариант)
- (оставлять нужно строки с разными наборами аргументов) / (оставлять только последнюю строку с уникальным "startup.homepage_welcome_url") / (другой вариант)
- второй аргумент (имеет фиксированый тип при первом) / (может болтаться, напр. true == 1 итд)
...
Не спеши, подумай, посмотри на данные.

Написано более трёх лет назад
akimdi @akimdi Автор вопроса

longclaps:
- интересуют только строки начинающиеся с user_pref и pref
- оставлять только последнюю строку с уникальным первым агрументом, например "startup.homepage_welcome_url"
- функции user_pref и pref всегда принимают два аргумента, первый это название настройки например startup.homepage_welcome_url или startup.homepage_welcome_url.additional и второй аргумент это значение в котором эта настройка должна находиться, например false или true или же это будет строковый, числовой или вообще пустой.
второй аргумент не имеет значения, он может быть как фиксированным у некоторых значений, так и принимать разные значения, например false или true или любое другое, поэтому главное оставить последнюю строку с уникальным первым аргументом.

Написано более трёх лет назад
longclaps @longclaps
akimdi:
Смотри, вот такой подход:
<html> <script> "use strict"; var user_data = new Map(); function user_pref(k, v) { user_data.set(k, v); } user_pref("bla.bla.bla", true); user_pref("bla.bla.bla", "abc"); user_pref("hren.kakaya.to", 42); for (let [k, v] of user_data.entries()) { document.write('user_pref("' + k + '", ' + (typeof v === "string" ? '"' + v + '"' : v) + ');<br>'); } </script> </html>

По идее просто копипастишь в него свои данные и получаешь "только последнюю строку с уникальным первым агрументом".
+ Проще не бывает
+ Аргументы могут быть даже выражениями, напр 2+3.
+ Комменты, в том числе вида /* коммент */, в том числе многострочные, не мешают
- Комментарии убиваются.
- Твои данные не являются валидным JS, надо подчищать
- Порядок следования строк может не совпадать со входным (но условие про "только последнюю строку выполняется).

Код на питоне не намного сложнее, но может лажать на мешанине разностильных комментариев, а писать полноценный разбор можнешь сам )
Написано более трёх лет назад
akimdi @akimdi Автор вопроса

longclaps: спасибо Вам большое

Написано более трёх лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Linux

+3 ещё

Средний
Как регистры SOC отображаются на память Linux?
- 1 подписчик
- 13 часов назад
- 77 просмотров
1

ответ
Ubuntu

+2 ещё

Средний
Запускаю сайты на apache2 и выдает такую ошибку DNS_PROBE_FINISHED_NXDOMAIN?
- 1 подписчик
- вчера
- 51 просмотр
0

ответов
C#

+2 ещё

Простой
Почему не отправляются письма по SMTP с сервера Ubuntu, но с локалки Windows все хорошо?
- 3 подписчика
- вчера
- 385 просмотров
1

ответ
Linux

+2 ещё

Средний
Возможно написать аналог bash на PowerShell?
- 2 подписчика
- вчера
- 233 просмотра
5

ответов
Веб-разработка

+3 ещё

Простой
Какие параметры отвечают за rateLimit в Ingress kuberneties?
- 1 подписчик
- вчера
- 56 просмотров
2

ответа
Linux

+1 ещё

Простой
Как в Linux ограничить юзеру изменение панелей и тд?
- 1 подписчик
- 19 нояб.
- 106 просмотров
5

ответов
Linux

+1 ещё

Простой
Как подключить принтер Toshiba e-studio 223 на Astra Linux SE 1.7?
- 1 подписчик
- 19 нояб.
- 98 просмотров
2

ответа
Linux

+1 ещё

Простой
Какая утилита root доступа для Linux работает в консольном режиме без белого ip?
- 3 подписчика
- 19 нояб.
- 761 просмотр
7

ответов
Linux

Простой
Как корректно добавлять каталоги в linux для пользователя?
- 5 подписчиков
- 18 нояб.
- 1377 просмотров
1

ответ
Ubuntu

+1 ещё

Средний
Почему не видны снаружи порты докера в Ubuntu?
- 1 подписчик
- 17 нояб.
- 131 просмотр
3

ответа
Показать ещё Загружается…

Системный администратор Astra Linux

Гринатом • Новосибирск

До 60 000 ₽

Системный инженер (Windows/Astra Linux)

Гринатом • Новосибирск

До 57 000 ₽

Ведущий инженер Linux

Интер РАО – Управление сервисами • Москва

от 180 000 ₽

Верстка Flutter + API

21 нояб. 2024, в 22:21

3000 руб./в час

Разработать Custom Speech-to-text Operator на Apache Flink

21 нояб. 2024, в 21:42

100000 руб./за проект

Сделать видио поздравления с субтитрами

21 нояб. 2024, в 21:30

500 руб./за проект

Answer 1 · 2017-08-12 04:01:20

#!/usr/bin/python3
import re

ptrn = re.compile(r'^\s*user_pref\(([^\)]+)\);').search
unic = set()
with open("user.js", "r") as fi, open("user_nodup.js", "w") as fo:
    for s in fi:
        m = ptrn(s)
        if m:
            data = m.group(0)
            if data in unic:
                print(s, end="")  # duplicate
                continue
            unic.add(data)
        fo.write(s)

Как удалить подстроки в строках в txt файле?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт