Как лучше организовать электронную библиотеку?

Question

[Василий]

В какой файловой системе и вообще в каком виде лучше хранить книги? >500000 и в перспективе заметно больше. Планирую написать фронтенд на питоне сам для себя. Форматы совершенно разные, от pdf и djvu до fb2, т.е. естественно будет база данных с описанием и т.п.
Вообще, что посоветуете?

Comments

[nirvimel]

фронтенд на питоне

Десктопный?

[riot26]

fb2 изначально задумывался, как универсальный формат (для конвертации потом в любой)

[Василий]

и десктопный, и наверно в перспективе положу на сервер, чтобы можно было брать по http.

[Василий]

riot26: к сожалению есть нераспознанные книги, на старославянском, например... ну и ещё более экзотичные варианты :)

[Николай Карелин]

Уже есть Calicre - десктопный фронтенд на питоне, может работать и через веб. Автор весьма активен и отзывчив.

Answer 1

[nirvimel]

>500000

Можете использовать ext4 или почти любую современную файловую систему.

Главное предупреждение: Даже не пытайтесь сложить все это в одни каталог! Последствия могут оказаться печальными. Вплоть до того, что вы даже не сможете удалить из мега-каталога что-то без полного форматирования ФС. Сходу не найду ссылки, но были прецеденты печальных историй.

Лучше разбить коллекцию на 1000 каталогов по 1000 файлов.

Answer 2

[АртемЪ]

Вы бы не в файловой системе их хранили, а в архиве.
А уж архивы вмещающие 500-1000 книг, на файловой системе.
Так будет проще, быстрее, и экономичнее.

Comments

[Illusive Echo]

Да-да-да... А потом если надо книжку достать или просмотреть, то распаковывай из архива? А если это 500 pdf по 100MB каждая? Не накладно ли?

[Arris]

Дмитрий Лялюев: ну так можно же указать тип сжатия storing (то есть без сжатия) :)

[Illusive Echo]

Тогда чем это лучше хранения в структуре каталогов по хешу (например) или по имени автора?
Пример:
А - Ак - Акунин Б. - все книги.
И структурировано и понятно и прямой доступ к книгам без распаковки даже сторинга.

[АртемЪ]

Дмитрий Лялюев:Чем это лучше обозначено прямо в вопросе - сложно найти базу данных способную быстро и эффективно работать с таким количеством мелких файлов.
Т.е можно сделать как вы сказали но доступ к файлу будет очень медленным.
Чтобы ускорить работу надо всего лишь упаковать в архив.
Все просто...

Answer 3

[Saboteur]

Все существующие онлайн библиотеки хранят архивы по xx книг, и базу, в которой указано имя архива и имя файла.
Так получается и удобнее и быстрее и меньше файлов, и меньше зависимость от файловой системы.

Answer 4

[abcd0x00]

Форматы совершенно разные, от pdf и djvu до fb2, т.е. естественно будет база данных с описанием и т.п.

Форматы не имеют значения, так как название формата каждой книги будет храниться в базе данных.
Там у тебя как бы получается две таблицы: одна описывает книгу, другая - адрес и способ хранения. И эти две таблицы связаны в одну базу данных по общему полю.

Answer 5

[lexxand]

Василий, а вы хотите свое решение? Почему существующие не глянете, например MyHomeLib?

Comments

[Василий]

конкретно про myhomelib - просто не нравится, ну вот почему-то совсем.

[lexxand]

Василий: тогда свой велосипед)

[Arris]

Потому что писать свои велосипеды интереснее, чем настраивать чужие :)

Answer 6

[ASPI]

sopds.ru

Answer 7

[Марат Мхитарян]

Для такого есть готовые системы для хранения данных.