@Oleg53

С помошью чего быстро искать по файлам 40 гб+?

Как организовать поиск по файлам большого объёма? Конечно, поиск в текстовом редакторе вешает память и система не отвечает. Возможно, стоит внести данные в БД? В таком случае как это сделать лучше?
  • Вопрос задан
  • 587 просмотров
Решения вопроса 1
begemot_sun
@begemot_sun
Программист в душе.
Есть два выхода.
Если вам надо один раз найти что-то и больше никогда этого не делать.
То в linux есть grep -- скорость впечатляющая.

если же вам надо постоянно что-то искать в каких-то данных,
то только индексация типа sphinx. Это гораздо сложнее.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
saboteur_kiev
@saboteur_kiev
software engineer
Поиск в текстовом редакторе вешает потому что большинство редакторов пытаются загрузить файл в память целиком.
Пользуйтесь утилитами поиска, типа grep или find (виндовый), которые читают текстовые файлы построчно, тогда проблем с памятью не будет. Но для поиска такие утилиты будут читать все 40 гб файла.

Поэтому есть мысль, что данные нужно перенести в базу, а в базе уже можно будет создать индексы для тех полей, по которым вы чаще всего выполняете поиск. Как оптимизировать базу - отдельная тема. Просто нужно учесть, что банальный перенос данных из файла в базу не решает проблему сам по себе, нужно понять что у вас за данные и как именно они должны лежать в базе наиболее оптимальным для вашего поиска образом.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы