@vitalybogryashov
знаю много, но многого не знаю

Как произвести быстрый поиск в папке с ежедневными zip-архивами гагабайтных лог-файлов?

Есть папка с ежедневными архивами, каждый из которых в чистом виде до 1Гб. Итого, за 5 лет, пусть будет 1.5Тб.
Хочу найти способ (наверняка кто-то же это делает), как найти необходимую информацию по слову или формуле.
Какие есть идеи на текущий момент - установить ПО индексации всей папки (но не знаю сколько будет весить база этого индекса) такие как GOOGLE desktop, YANDEX desktop, dtSearch и другие, надо еще из поизучать чем они отличаются (скорость, поиск в архивах, работа с индексом, объем индекса, расход памяти - важно).
Из других вариантов (более простых, но, видимо, более длительных) рассматриваю CLI-утилиты, готовые скрипты, позволяющие просто искать нужный текст в больших файлах не забивая память системы на объем открываемого файла и не занимая ресурсы жесткого диска. То есть вся работа должна производиться в пределах выделенного объема ОЗУ (512Мб, например) не ерзая жесткий диск понапрасну, то есть не читать и записывать на него одновременно. Например порционно доставать по 100-200Мб искать данные, сохранять результаты и так далее.
Есть еще вариант - может есть утилиты преобразующие лог файлы(произвольного вида) в удобочитаемую форму, очистив логи от мусора (могут присутствовать и большие объемы ненужных бинарных данных), или например конвертировав в базу данных, по заданному алгоритму, и потом наслаждаться SQL-запросами для любого поиска.
Может, я вообще, двигаюсь не в том направлении и есть уже готовые продукты (бесплатные естественно), позволяющие это делать еще проще.
PS. Логи формируются закрытым ПО, т.е. изначально выпускать их в произвольной структуре не имется возможным.
  • Вопрос задан
  • 382 просмотра
Пригласить эксперта
Ответы на вопрос 1
@redakoc
Не только универсальные поисковики.

А еще есть более специализированные системы, предназначенные именно для анализа логов.
Как онлайновые (за некоторые деньги, это понятно, так как объемы-то немаленькие).
Так и те, что можно скачать и установить локально. Бесплатные и платные.

https://www.splunk.com/en_us/products/splunk-light.html
и пр.
их очень много.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы