Как улучшить точность поиска фотографий, которые изображают один и тот же объект или место, но сняты с разных углов?

Как можно улучшить точность поиска фотографий одинаковых объектов/локаций, снятых с разных ракурсов, помимо использования YOLOv8 для классификации и подсчета объектов, а также сравнения пар по цветовой гамме? Текущий метод находит лишь небольшую часть нужных пар фотографий, исключая большинство из 3 тыс. пар.
  • 26 декабря 2023 г. 11:37
Ответы на вопрос 2
Существует несколько подходов, которые можно использовать для улучшения точности поиска фотографий одинаковых объектов/локаций, снятых с разных ракурсов:

1. Использование геометрических признаков: Некоторые объекты или места могут иметь уникальную форму или геометрию. Вы можете использовать алгоритмы компьютерного зрения, такие как дескрипторы углов (например, SIFT, SURF, ORB) или дескрипторы формы (например, контур, граница), чтобы извлечь эти признаки и сравнить их между изображениями. Это может помочь найти пары фотографий одного и того же объекта, даже если они сняты с разных углов.

2. Использование глубокого обучения: Вместо использования простых цветовых характеристик, можно применить глубокое обучение, чтобы извлечь более высокоуровневые признаки из фотографий. Вы можете обучить сверточную нейронную сеть на большом наборе размеченных данных, где каждая пара фотографий объекта снята с разного ракурса, и использовать эту сеть для классификации новых изображений. Нейронная сеть будет учитывать не только цветовые характеристики, но и текстуры, формы, контекст и другие признаки, что может помочь в нахождении пар фотографий одного объекта.

3. Использование методов сопоставления ключевых точек: Другой метод, который можно использовать, это сопоставление ключевых точек между изображениями. Алгоритмы, такие как Scale-Invariant Feature Transform (SIFT), могут находить ключевые точки на изображениях и описывать их характеристики. Вы можете сопоставить ключевые точки с помощью алгоритмов, таких как RANSAC или кластеризация, чтобы найти пары фотографий одного объекта или локации, снятых с разных ракурсов.

4. Использование комбинации различных признаков и методов: Часто наилучшие результаты достигаются путем комбинации различных признаков и методов. Например, вы можете объединить использование глубокого обучения для извлечения высокоуровневых признаков с методами сопоставления ключевых точек для нахождения пар фотографий одного объекта снятых из разных ракурсов.

5. Увеличение разнообразия данных: При обучении вашей модели или алгоритма, увеличение разнообразия данных (например, добавление изображений одного объекта, снятых из разных ракурсов) может помочь улучшить точность поиска пар фотографий. Чем больше данных вы используете, тем лучше модель сможет обобщить и находить пары изображений.

6. Использование семантической сегментации: Семантическая сегментация позволяет классифицировать каждый пиксель изображения на определенный класс объекта. Вы можете использовать методы семантической с
гугли 

SIFT
ORB Descriptors (там разные естьт, BSIFT каежстя или как-то так, забыл название)

https://habr.com/ru/companies/solarsecurity/articl...

для картинок-не-векторов работает отлично
Похожие вопросы