Работа с огромным количеством файлов?

Question

[Rihard_Novozhilov]

C++, C#, RUST? Задача обработать большое количество файлов (более 2 миллионов). Какую технологию выбрать?

Comments

[Everybody_Lies]

вы бы хоть написали, что вы планируете с этими файлами делать

[Василий Банников]

При такой постановке вопроса разницы нет.
Пробовали делать прототип на чём-то простом (не расте, и не на на плюcах)?
Может и так нормально работает?

Что с этими файлами будет происходить?

[Rihard_Novozhilov]

Задача считывать и находить конкретные строки в текстовых файлах, желательно через regular expressions.
Делал на c# используя многопоточность. Задался вопросом, может другие тохнологии справляются лучше.

[edward_freedom]

Rihard_Novozhilov, простую мвпишку написать дело десяти минут

[GavriKos]

Вряд ли тут прям упрется в язык. Скорее в IO операционки/железа. А тут на помощь придет Ram-disk.

Это конечно если файлы уже есть и вы с этим ничего не сделаете. В противном случае звучит как задача для баз данных

[neol]

Rihard_Novozhilov,

Задача считывать и находить конкретные строки в текстовых файлах, желательно через regular expressions.

А чем не устраивает grep -e?

[Rihard_Novozhilov]

neol, нужно на винде с GUI
WSL естественно слишком медленный

[Василий Банников]

Rihard_Novozhilov, так греп и под виндой есть.
Ну и ещё есть ripgrep (на rust), который даже быстрее, чем обычный (он тоже отлично работает под виндой)

[Dmitry Bay]

Everybody_Lies, Надо бот создать, который будет спрашивать "А нах*я вам это надо?", может половина вопросов сразу же закрылись.

Answer 1

[Saboteur]

bash отлично справится

find . -name "file.ext" | xargs -n 10 -P 10 "phraze"

Answer 2

[rPman]

Если миллион файлов находится на одном физическом устройстве, то многопоточность тут не требуется и даже вредна. Для поиска на нескольких дисках достаточно запустить просто несколько экземпляров приложения для поиска, указав для каждого свой список файлов на своих дисках.

Последовательное чтение файлов для простого поиска подстроки - очень простая задача, берешь c++, делаешь цикл с fgetstr (если обработка нужна построчная), заранее подготавливаешь искомые строки во всех используемых кодировках как набор байт char* (в идеале в виде констант, т.е. сгенерировав код) просто сравнивая их с помощью strcmp... если таких строк много то подготовь таблицы посимвольного поиска (нагенерировать последовательно вложенные switch case) - этот подход наиболее быстрый из всех возможных, позволяет обрабатывать миллионы строк в секунду

p.s. если что, gui можно реализовать на одном языке программирования (c# .net) а поиск на c++, запуская из gui приложение, передав нужные параметры в командной строке или специальном файле

p.p.s. если поиск нужно делать часто, может все же поместить эти файлы в базу данных и создать для искомых данных индексы?

Answer 3

[Griboks]

Узкое место тут в файловой системе. Всё остальное не имеет значения.

Answer 4

[Владимир Коротенко]

https://www.elastic.co/elasticsearch/features#elas...
И какую нибудь веб морду. Искать будет сильно быстрее чем ваши потуги.