Какую БД выбрать для хранения обучающей и тестовой выборок для нейронной сети?

Question

[Алексей Артюшков]

Здравствуйте! Стоит задача сформировать обучающую и тестовую выборки для нейронной сети сверточного типа. Какой формат лучше выбрать для хранения этих выборок? Пока, что смотрю в сторону формата MNIST. Может еще что-нибудь посоветуете?

Answer 1

[Everything_is_not_so_bad]

MNIST - это не СУБД, а выборка, состоящая из файлов изображений особого формата и файлов с мета-информацией.
Как удобнее, так и хранить. Всё зависит от того каким ПО будет записываться и считываться эта информация и от того какими навыками программирования обладаешь.

1. Любишь работать с бинарными файлами - используй MNIST. Нет никакой зависимости от стороннего ПО.
   
2. Если нет, то ведь файлы изображений можно хранить в тех же JPEG/PNG, а мета-информацию - в СУБД.
   Крутая СУБД не нужна. Достаточно SQLite. Для чтения форматов изображений нужно воспользоваться библиотеками, работающими с нужными форматами изображений.
   

Answer 2

[Николай Бараненко]

предлагаю вам воспользоваться СУБД HP vertica, размер данных до 1 ТБ у них даром.
единственно что работает только под Linux, НО эта проблема решается путем установки VirtualBox и CentOS.
Драйвера у нее для Java, C#, Python и т.д.
Скорость работы быстрее Oracle.

Comments

[Everything_is_not_so_bad]

Николай Бараненко, для данной задачи эта СУБД - явно перебор. До Vertica ещё нужно дорасти.
Кроме того, придётся также заморачиваться дополнительной ОС.

Скорость работы быстрее Oracle.

откуда информация?

[Николай Бараненко]

из своей практики