Где и как хранить множество файлов разного размера?

Question

[Дмитрий Скрябин]

Есть много файлов разного размера (в сжатом виде от 1КБ до 100Mб) . Файлы - текстовые логи трафика пользователей, сжатые gzip. 1 файл - логи одного пользователя за 1 день.
Один день - примерно 60k файлов (в сжатом виде порядка 15Гб). Сейчас храню их в директориях по дням, внутри дня разбиваю по директориям по префиксам. С одной стороны, удобно - по любому пользователю можно быстро получить логи. Но работать с массой таких файлов не удобно - копируются медленно, фс работает медленно. Учитывая, что на разделе хранятся логи за последние 3-4 месяца, получается 7-8 млн файлов.

Ищу такое хранилище (или способ организации), чтобы сократить количество файлов для облегчения работы с ними, при этом чтобы было сжатие. Рассматривал вариант сохранять файлы в PostgreSQL (логи в поле типа text, чтобы работало сжатие), там файлов меньше получается, но проблема в записи больших файлов - текстовый лог размером в 1Гб не получилось записать - не хватает памяти скрипту (писал на питоне).

Есть ли какие-то другие варианты хранения такого рода файлов?

Answer 1

[Дмитрий Скрябин]

Для решения задачи хранения логов решил использовать ClickHouse от Яндекса. Колоночность, сжатие и быстрый доступ позволяет удобно работать с данными: можно быстро получать весь трафик по конкретному пользователю. Физически создается не много файлов, можно бекапить прямо эти файлы (отключив их от базы). На данный момент для меня это оптимальное решение.

Answer 2

[Дэн Иванов]

Посмотрите на
https://github.com/reverbrain/historydb
https://github.com/reverbrain/elliptics

Но оно хорошо работает только с файлами среднего и большого объема, тоесть от нескольких десятков килобайт и больше.

Comments

[Дмитрий Скрябин]

Спасибо, интересные решения. Но у HistoryDB API только под C либо через HTTP. Ни то, ни другое не подходит. Сам по себе Elliptics для меня несколько избыточен, т.к. распределенности не нужно, зато нужна возможность резервного копирования (чтобы взять один большой файл со всеми логами и записать его на стриммер). А вот то, что использует Elliptics в качестве хранилища (eblob) - это уже почти то, что мне нужно. Правда, там тоже API только для С, а мне нужно для Python.
В общем, получается, мне нужен аналог Eblob, работающий с Python.

[Дэн Иванов]

У эллиптикса есть API на пайтон. doc.reverbrain.com/elliptics:api-python.
В целом я вас понял, решения не совсем подходят, просто предполагал что нужен постоянный доступ к полному объему данных.