Как можно максимально уменьшить размер данных?

Хочу создать ИИшку, которая будет постоянно запоминать, что с ней происходит(картинки, описания и тд.) и сохранять в базу. Понимаю, что невозможно все запоминать, но хотя бы 1-2 картинки+описания в секунду.
Все картинки из базы памяти я храню в sqlite в виде векторного представления, который создает CLIP(для уточнения который openAI сделали) для меньшего размера, а также чтобы сравнивнивать картинки для анализа и еще архивирую базу sqlite. Подскажите, пожалуйста, как еще можно сузить размер векторов?
  • Вопрос задан
  • 478 просмотров
Пригласить эксперта
Ответы на вопрос 1
mayton2019
@mayton2019
Bigdata Engineer
Несколько мыслей.
- sqlite - это не база для BigData.
- в клипе не будет смысла. А для сравнения картинок - поищи что такое perceptual hash. Статья была гдето.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы