С помошью чего быстро искать по файлам 40 гб+?

Question

[Oleg53]

Как организовать поиск по файлам большого объёма? Конечно, поиск в текстовом редакторе вешает память и система не отвечает. Возможно, стоит внести данные в БД? В таком случае как это сделать лучше?

Comments

[sim3x]

Какой именно поиск?
Данные структурированны?

Answer 1

[Сергей]

Есть два выхода.
Если вам надо один раз найти что-то и больше никогда этого не делать.
То в linux есть grep -- скорость впечатляющая.

если же вам надо постоянно что-то искать в каких-то данных,
то только индексация типа sphinx. Это гораздо сложнее.

Comments

[d'Ivan]

Кстати, grep есть ещё и в Cygwin, для винды.

[chupasaurus]

Роман Мирр, В Powershell grep - алиас для Select-String ЕМНИП.

Answer 2

[Saboteur]

Поиск в текстовом редакторе вешает потому что большинство редакторов пытаются загрузить файл в память целиком.
Пользуйтесь утилитами поиска, типа grep или find (виндовый), которые читают текстовые файлы построчно, тогда проблем с памятью не будет. Но для поиска такие утилиты будут читать все 40 гб файла.

Поэтому есть мысль, что данные нужно перенести в базу, а в базе уже можно будет создать индексы для тех полей, по которым вы чаще всего выполняете поиск. Как оптимизировать базу - отдельная тема. Просто нужно учесть, что банальный перенос данных из файла в базу не решает проблему сам по себе, нужно понять что у вас за данные и как именно они должны лежать в базе наиболее оптимальным для вашего поиска образом.