Как можно максимально уменьшить размер данных?

Question

[Re7r0]

Хочу создать ИИшку, которая будет постоянно запоминать, что с ней происходит(картинки, описания и тд.) и сохранять в базу. Понимаю, что невозможно все запоминать, но хотя бы 1-2 картинки+описания в секунду.
Все картинки из базы памяти я храню в sqlite в виде векторного представления, который создает CLIP(для уточнения который openAI сделали) для меньшего размера, а также чтобы сравнивнивать картинки для анализа и еще архивирую базу sqlite. Подскажите, пожалуйста, как еще можно сузить размер векторов?

Comments

[Василий Банников]

Попробуй вместо sqlite посмотреть на другие форматы.

[Re7r0]

Василий Банников, пробовал json, xml, там только больше занимает к сожалению или имеете ввиду другую базу

[Василий Банников]

Re7r0, имею в виду parquet, например

[rPman]

Пока мы не знаем что за изображения, в чем их характерность и главное для каких задач их нужно хранить, помочь будет нечем.

Зачем ты в базе хранишь векторное представление? Ты так дубликаты ищешь. Вектор кстати это наименьшее из возможных по размеру представлений изображения, уменьшение его потребует либо больше обучающих данных и увеличение ресурсов на обучение, либо смириться с ухудшением его качества

[Everything_is_not_so_bad]

rPman,

Ты так дубликаты ищешь.

смотря как хранить и искать. Есть расширение sqlite-vss для Sqlite.

[Everything_is_not_so_bad]

но хотя бы 1-2 картинки+описания в секунду.

типа, для отслеживания эволюции развития?

[Re7r0]

Everything_is_not_so_bad, что-то вроде этого

[Everything_is_not_so_bad]

Re7r0,

как еще можно сузить размер картинок?

таки векторов или самих картинок?

[Re7r0]

Everything_is_not_so_bad, да, получается векторов, не так выразился

Answer 1

[mayton2019]

Несколько мыслей.
- sqlite - это не база для BigData.
- в клипе не будет смысла. А для сравнения картинок - поищи что такое perceptual hash. Статья была гдето.

Comments

[Everything_is_not_so_bad]

Может их лучше преобразовать в какую-то компактную
векторизованную форму.

так пишет ведь:

я храню в sqlite в виде векторного представления

[mayton2019]

Everything_is_not_so_bad, прошу прощения. Не заметил. Подкорректировал.
А можешь показать одну такую картинку как выглядит?

[Everything_is_not_so_bad]

mayton2019, из изображения получается вектор и все операции поиска делаются по таким же, как и этот.
Полагаю, что речь об этой модели: https://openai.com/index/clip/

[Everything_is_not_so_bad]

perceptual hash уже устаревает и новые, ИИ, модели (более дорогие, правда) выполняют работу значительно лучше.

[mayton2019]

Хотел чтоб автор показал как он картинки хранит.

[Re7r0]

mayton2019,

векторное представление:
https://drive.google.com/file/d/1W4e3NP8TNgrmCoM7u...

картинки сравниваю с помощью косинусного расстояния

[Re7r0]

mayton2019, про sqlite понял, спасибо, попробую hdf5

[mayton2019]

Re7r0, круть. Мне нравистся.

А если велосипедист будет сдвинут на 25% листа влево например.
Как будет сравнение срабатывать?

[Re7r0]

mayton2019, clip очень неплохо сравнивает фотки по косиносному расстоянию, я ak-47 как не поворачивал, все равно хорошо определяет

[mayton2019]

Мне всегда было интересно как сравниваются картинки "со сдвигом". C масштабом и повотором.

[Re7r0]

mayton2019, https://habr.com/ru/companies/ppr/articles/787254/
примерно так сравниваю картинки

[Everything_is_not_so_bad]

Насколько понимаю, источником является видео, из которого извлекаются фреймы и они же и анализируются

[Re7r0]

Everything_is_not_so_bad, примерно так, но хочу чтобы было не видео, а запись в реальном времени