Какой алгоритм сжатия данных использовать при архивации лог файлов?

Question

[Рамид Салманов]

Стоит задача написать архиватор лог файлов
Алгоритмов сжатия данных немало и у каждого своя спецификация.
Как определить какой алгоритм сжатия данных нужно использовать для архивации файла, в котором много повторяющихся элементов?

Comments

[Lynn «Кофеман»]

Зачем?

[Рамид Салманов]

Алексей Тен, не понял вопроса

[Lynn «Кофеман»]

Чем вас не устраивает пара десятков уже существующих архиваторов?

[Рамид Салманов]

Алексей Тен, передо мной стоит задача самому написать программу архиватор

[GavriKos]

Алгоритмов сжатия данных немало и у каждого своя спецификация.

Вариантов "как определить" ровно два:
1) Хорошо подумать и поанализировать, почитать в интернетах о плюсах и минусах и применить к вашей ситуации
2) Экспериментальным путем.

Answer 1

[Zettabyte]

Из "традиционных" Линуксовых лучше всего сжимает BZIP2.
Ещё лучше будет сжимать LZMA (7-Zip), в нём выставляете максимально большой размер словаря, на который у вас хватит памяти, word size ставите на максимум.

Также протестируйте PPMd, выставив те же настройки вверх, этот алгоритм тоже есть в 7-Zip. Я давно им не пользовался и ничего не читал, но раньше он был хорош для текстов и логов.

У 4-го WinRAR'а был preset именно для текстов и логов, проверьте и его (не знаю сохранился ли он в 5-й версии).

Ну и почитайте MaximumCompression, там наверняка найдётся алгоритм, который легко зарулит всех выше, но будет работать полдня.

Comments

[Saboteur]

вопрос нечитали?

Answer 2

[Saboteur]

"Стоит задача написать архиватор лог файлов"

"Алгоритмов сжатия данных немало и у каждого своя спецификация.
Как определить какой алгоритм сжатия данных нужно использовать для архивации файла, в котором много повторяющихся элементов?"

У вас в задаче я не вижу требований, написать идеальный архиватор лог файлов.
Вдобавок написать хотя бы простейший архиватор - уже нетривиальная задача для новичка, а судя по вопросу - вы новичок.

Что я могу подсказать, так это свою догадку, что хотел ваш препод, но для этого нужно понять принципы алгоритмов сжатия по словарю - когда вы анализируете файл, находите в нем что-то похожее, составляете словарь похожих частей и сжимаете используя этот словарь.
Так вот - в случае сжатия нескольких файлов, можно использовать словарь первого файла для сжатия второго и так далее.
В архиваторах это называется solid архив.
Его преимущество - меньший размер.
Недостаток - при распаковке одного конкретного файла (например последнего), вам придется распаковать все предыдущие.

Comments

[Рамид Салманов]

я новичок - это верно
задача написать архиватор лог файлов на C#
Требование следующее : архиватор должен сжимать лог файл лучше, чем стандартный алгоритм Gzip хот быя на 1%, и время компрессии и декомпресии не должно увеличиться более, чем в раза

вот не могу разобраться, это надо другой алгоритм реализовывать или каким-то образом обработать, нормализовать лог файл и уже после этого пытаться сжимать тем же Gzip
Или, возможно, есть ещё какие-то другие варианты

[Saboteur]

Рамид Салманов,

вот не могу разобраться, это надо другой алгоритм реализовывать или каким-то образом обработать,

Кто ж знает, что вы умеете.
Я бы сказал, что для новичков, которые задают подобный вопрос это задание достаточно сложное.

Если хотите сдать задание - идите на фриланс.
Если хотите разобраться и научиться - поищите готовый gzip для C#, разберитесь как работает алгоритм deflate (он используется в gzip) и попробуйте его модернизировать.
Если хотите крутоты - разберитесь, как работает gzip и напишите свой алгоритм, который делает что-то лучше.

[Saboteur]

В общем случае, попробуйте хотя бы повторить gzip на С#, чтобы оно просто работало. А потом попробуете модифицировать, например увеличением буфера (будет жать больше, чем gzip без опций)

Answer 3

[d'Ivan]

Типично используется алгоритм сжатия GZip.
bzip2 сжимает лучше, но он работает медленнее. А лучше всего будет сжимать xz (LZMA).
Если Linux, то есть программа logrotate и тогда ничего не надо выдумывать. Она и сжимает в gzip и занимается ротацией логов.

Comments

[Рамид Салманов]

в задании написано, что Gzip - стандартный алгоритм, а лог-файл имеет специфичный формат записей, который можно сжимать эффективней
вот вопрос стоит как?

[d'Ivan]

Рамид Салманов, если хочется помудрить, сэкономив 1%, то тогда регулярными выражениями извлечь дату и время, а также другие данные. Затем записать числа/даты в байтовом представлении для экономии места. Но оно того стоит? Я так не думаю.

Answer 4

[dmshar]

Если это реальная задача - то бессмысленно что-то писать самому. Берете готовые, проверяете их на реально имеющихся лог-файлах, сравниваете,делаете выводы, лучший запускаете в продакшн.
Если это учебная задача - просто научиться реализовывать архиваторы - то изучаете существующие алгоритмы и реализуете любой из них. Все равно, ваша учебная реализация будет хуже, чем имеющиеся коммерческие. Поэтому сравнивать их никто в здравом уме не будет.