Почему не работает регулярное выражение?

Question

[Tamago4a]

Есть такая программа называется emeditor. Это можно сказать, продвинутый notepad++. Это текстовый редактор который умеет редактировать сверхогромные файлы. Так вот фишка в том что он отказывается производить регулярные выражения(фильтр специально настроенный из разных метасимволов и вставленный в поле "найти-заменить"). Но когда я создаю новый txt файл и вставляю туда тот же самый текст и пробую уже этот файл делать, всё резко начинает работать.

Нужна небольшая софтинка(или другое, с вашей профессиональной точки зрения, решение) в которую можно будет вставить путь где лежит большое количество файлов, а далее она делала бы копию каждого файла. Но это не означает что нужно просто сделать ctrl + c и ctrl + v, а именно создать новый файл и перекопировать туда текст из старого файла. Тогда этот txt файл будет нормально производить регулярки.

Сама регулярка

^(.{0,7})\r\n|^([0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9])\r\n

Что делает регулярка? Убирает строки в которых меньше 8 символов и убирает строки которые состоят из восьмизначных чисел. И да... это база для брута handshake'ов.

Пример файла в котором у меня не работает регулярные выражения.
https://download.weakpass.com/wordlists/50/10_mill...

Что я уже пробовал:
1. Команду copy через консоль. Да она копирует хорошо, но файлы не работают всё равно.
2. Менять кодировку на utf8, win1251(кажется так) и т. д. и это то же не помогает.

Answer 1

[Сергей П]

Смотрите. У вас в файле абзацы по-другому устроены и при копировании они заменяются на виндовый формат.
Ваш регексп можно чуточку упростить:
^(.{0,7})\r\n|^([0-9]{8})\r\n
Для того, чтобы регексп работал на данном файле с теми абзацами что там есть, нужно использовать \n вместо \r\n.
Ещё раз...
В файле абзацы состоят из символа "OA". Ваш регексп в качестве абзацев ожидает пары "OD 0A". При копировании\вставке текста в редакторе в новый файл абзацы заменяются на станартные для данной ОС и данного редактора. Ваш редактор поддерживает юникс-формат абзацев, но по умолчанию использует именно виновый из двух символов. Вы можете сделать регексп универсальным поставив вопросик после символа \r.

Comments

[Tamago4a]

Да и правда помогло. Интересно конечно всё это работает.
Эта регулярка ^(.{0,7})\r?\n|^([0-9]{8})\r?\n помогла.
А как вообще сделали эти базы таким образом, что у них переносы строк какие-то не стандартными(не виндовскими) получились?

[Сергей П]

Tamago4a, очевидно под линуксом, например.
В винде вообще используется анахронизм со времен телетайпов. Символ перевода строки отдельно, а возврата каретки отдельно. Из-за этого зоопарка стандартов новички часто делают много ошибок. Было бы куда проще и полезнее постепенно избавляться от устаревших стандартов в пользу более простых и универсальных современных решений. Но у этой медали есть две стороны. Стандартные библиотеки и качественные редакторы позволяют прозрачно и без сбоев работать не только с разными форматами абзацев, но и со смешанными типами в одном файле. Из-за этого никто всерьёз не озабочен отказом от анахрнизмов. Работает, как говорится, не трожь. Вот и не трогают.

То же самое касается чехарды с виндовыми однобайтовыми кодировками cp1251, cp866... Вот эти вот кодировки отняли миллионы человекочасов у тех, кто сэкономил время на понимании как правильно работать с кодировками. А что теперь экономить-то на байтиках? Почему не закопать этот анахронизм?

[Tamago4a]

Сергей Паньков, продолжаю тему очистки базы от мусора.

1. Теперь я пытаюсь избавиться от "не ascii" символов. Сделал замену [^\x00-\x7F]+ на пустоту но в базе всё равно остались какие-то непонятные символы.

Что с этим делать?

2. Мне нужно удалить все табуляции и двойные(и бесконечные) пробелы, но \t* удаляет даже одиночные пробелы.

3. Получился вот такой списочек

[^\x00-\x7F]+
^(.{0,7})\r?\n
^([0-9]{8})\r?\n
.*htt(p:|ps:).*\r?\n
.*www\..*\r?\n
.*htt(p:|ps:).*\r?\n
.*mail.*\r?\n
.*@.*\r?\n

удаляющий все не ascii символы, строки короче 8 символов, строки содержащие http:, https:, www., mail, @;
Пока что сюда не хватает фильтр на "квадраты", табуляции и бесконечные пробелы(одиночные не трогать). И всё это будет скреплено с помощью |

Как всё это можно оптимизировать?

4. И самое интересное для меня. В каком порядке всё будет работать если я всё скреплю с помощью |? Получается уберутся не ascii символы и в некоторых строках появятся числа состоящие из 8 цифр или строки с меньше чем 8 символов, а эта проверка уже перейдёт на новую строку. И получается нужно будет по несколько раз проверять документ? А если я помещу [^\x00-\x7F]+ в конец регулярного выражения, то выходит что текстовый редактор сначала проверит на наличие 8 символов, и только потом проверит на наличие "не ascii" символов?

[Сергей П]

Tamago4a, вот же люди любят сами себе изобретать геморрой.
Работайте в utf-8 и не будет проблем с не ascii-символами.
Нафига всё лепить в один регексп мне не понятно. Вы не написали для чего вам это нужно.
2- звёздочка - это квантор, соответстующий любому количеству включая нулевое. Вам же нужно более одного. В вашем регэкспе подходящая конструкция встречалась, но, похоже вы этот регексп откуда-то срисовали или кто-то вам подсказал. Теперь вот вопрос превращаете в адание. Мне кажется вам рановато решать такие задачи не понимая как рабаотают регулярные выражения.

[Tamago4a]

Сергей Паньков,

Мне кажется вам рановато решать такие задачи

Начну с того что я не программист, чтобы решать какие-то задачи. Я обычный пользователь ПК который шарит про IT чуть больше чем основная масса людей. Погуглив как пользоваться регулярками стало конечно яснее, но 100% просвещения я не получил. Пользуюсь я ими прямо в текстовом редакторе, а не в программировании.

Вы не написали для чего вам это нужно.

Писал но совсем немного

И да... это база для брута handshake'ов.

И уже из этого можно понять что

не понимая как рабаотают регулярные выражения

Правда какое это вообще имеет значение я не понимаю.

Нафига всё лепить в один регексп мне не понятно.

Я всего лишь хочу составить хороший алгоритм(регулярку) чтобы чистить базы для

брута handshake'ов

от мусора. Поэтому я зашел в интернет чтобы решить эту задачу с помощью понимающих больше меня в этом людей.

Работайте в utf-8

Не так то просто менять кодировку в файлах которые весят по 80 гб. Да и не помогло это.

В вашем регэкспе подходящая конструкция встречалась, но, похоже вы этот регексп откуда-то срисовали или кто-то вам подсказал.

Да. Я гуглил, копировал, и дорабатывал под себя.

Вам же нужно более одного.

Да. Это я и писал выше.

[Сергей П]

Tamago4a, на этом ресурсе нельзя выдавать залания. Публикуйте конкретные вопросы по отдельности и вам помогут, но предполагается, что вы сами что-то делаете и чему-то учитесь. Иначе нужно идти к фрилансерам.

Вот держите хороший инструмент дл яотладки регулярных выражений. Он же позволит буквально на коленке сбацать скрипт (например на питоне), который будет обрабатывать регулярным выражением входящие данные.

В вашем случае не стоит городить одну единственную регулярку, которая порешает все вопросы.
Я так понимаю, что у вас один кандидат на пароль в одной строке, вот и фильтруйте их отбрасывая лишние. К чему эти замены?
То, что вы чистите базу паролея я понял из оригинального поста, но как именно вы это делаете и почему из всего этого не ясно. К примеру не понятно зачем, скажем, кратные пробелы заменять. Разве в пароле не может быть два пробела подряд? Опять же, я понимаю когда вы заменяете всю строку от начала до символа абзаца включительно на пустоту, так вы удаляете кандидата на пароль, но зачем вы тогда удаляете подстроки заодно? У вас кандидаты засорены ненужным текстом? Как вы решаете какой текст не нужен?

То. что у вас там получилось при преобразовании кодировки показывает, что вы неверно выбрали исодную кодировку, отчего преобразование поломало часть символов.

Попробуйте разделить задачи чистки подстрок и фильтрации строк на отдельные замены.
Прочитайте про python и как сделать нужную вам операцию на нем. Пример можно получить с помощью того ресурса, что я вам показал выше по ссылке.
Ещё есть замечательные утилиты линукса вроде grep. Поставьте ебе виртуалку с линуксом и делайте вашу задачу в командной строке в ней. Будет полезнее и проще, чем вот эти ваши игры с редактором. Серьёзно.