Как можно саксимизировать сжатие данных?

Как можно уменьшить размер картинок помимо их векторного представления, которое генерирует CLIP от OpenAI, для хранения в базе данных SQLite и того, чтобы сравнивать и анализировать изображения?
  • 20 мая 2024 г. 21:11
Ответы на вопрос 2
Существует несколько способов максимизировать сжатие данных и уменьшить размер картинок для хранения в базе данных SQLite:

1. Использование современных методов сжатия данных, таких как алгоритм сжатия изображений JPEG, PNG или WebP. Подбор оптимальных настроек для этих алгоритмов может значительно уменьшить размер картинок при сохранении их в базе данных.

2. Применение техники уменьшения размерности изображений, например, путем уменьшения разрешения изображения или применения методов сжатия без потерь, таких как Wavelet-преобразование.

3. Использование сжимающих алгоритмов специально разработанных для работы с изображениями, таких как Google's Guetzli или библиотека сжатия изображений MozJPEG.

4. Оптимизация и предварительная обработка изображений перед сохранением их в базу данных, такая как удаление метаданных, уменьшение шума и удаление избыточной информации.

5. Использование сжатых форматов хранения изображений, таких как WebP или AVIF, которые предлагают более эффективное сжатие по сравнению с классическими форматами, такими как JPEG или PNG.

При выборе метода сжатия и уменьшения размера картинок, важно учитывать потери качества изображения и требования к точности данных при их анализе и сравнении.
Несколько мыслей. 
1) sqlite - это не база для BigData.
2) картинки запоминать с какой целью? Может их лучше преобразовать в какую-то компактную
векторизованную форму . Например там геометрия. Средняя освещенность фона. Описание объектов.
Или какие-то сверточные матрицы.
Вобщем успех мероприятия будет сильно зависеть от того что будешь дальше делать с картинками.
Хранить их просто так нет смысла.
3) Если ты решишь например пункт номер (2) то и тогда
в клипе не будет смысла. А для сравнения картинок - поищи что такое perceptual hash. Статья была гдето.
Похожие вопросы