Какой бесплатный софт способен обрабатывать текстовые файлы с логами доступа сервера?

Question

[Dmitriy Fedotov]

Есть логи сохраненные в текстовых файлах объемом не менее гигабайта каждый.
Необходимо проанализировать их или обработать так, чтобы выявить наиболее частые адреса с которых приходят запросы. Плотность лога 50-70 строк в секунду времени. Проанализировать надо 3 суток.

Answer 1

[Dimonchik]

посмотрите на www.weblogexpert.com/lite.htm (про версию можно купить на рутракере)
и на классику www.awstats.org, но с ним еще заморочиться нужно - поставить, скормить логи и т.п.

ну и на https://technet.microsoft.com/en-us/scriptcenter/d...

проблема всех прог в том, что они могут на длинном файле скрешиться,и никаким каком это непреододимо

конкретно под эту задачку ручками рекомендую:
1) берете www.powergrep.com - мощнейшая тулза, ест большие файлы, обрабатывает все что только можно (тоже продается на рутракере), ей выбираете из каждого лога IP ( ну и там Get и код ответа,например)
2) берете www.textpad.com - самый лучший в мире текстовый редактор (я не шучу, он единственный не вешается от гигабайтных txt, его ближайшие 1-2 конкурента на 20-30 Гб вешаются, он справляется с 40+ Gb) и в нем по F9 сортируете выделенные строки, получаете картину

вместо (2) можно загнать логи - за трое суток это всего 18 млн строк - в MySQL и поделать выборки, с помощью DbFOrge Studio или MySQL Front.

Comments

[Dmitriy Fedotov]

решил задачу путем grep в линуксе + скриптом на пхп, который сделал сортировку результатов. Айпи адреса тех кто парсил сайт были установлены.