Подход к анализу изображений для систем технического зрения

Abstract

В данной работе предлагается подход к семантическому анализу изображений, который можно использовать в системах технического зрения. Целью работы является разработка метода автоматического построения семантической модели, формализующей пространственные связи между объектами на изображении, а также ее исследование. Отличительной особенностью данной модели является определение значимых объектов, благодаря чему алгоритм построения анализирует на порядок меньше отношений между объектами, что позволяет существенно сократить время обработки изображения и объем используемых ресурсов. Уделено внимание выбору нейросетевого алгоритма детекции объектов на изображении как предварительного этапа построения модели. Проведены эксперименты на тестовых наборах их базы Visual Genome, разработанной исследователями из Стэнфордского университета для оценки алгоритмов детекции объектов, аннотирования регионов и других актуальных задач анализа изображений. При оценке работы модели оценивалась точность определения пространственных отношений. Также были проведены эксперименты по интерпретации полученной модели, а именно аннотированию, т. е. получению текстового описания содержания изображения. Результаты экспериментов сравнивались с аналогичными результатами нейросетевой генерации аннотаций изображений, полученными на той же базе другими исследователями, а также автором данной работы ранее. Показано улучшение качества аннотирования изображений до 60 % (в соответствии с метрикой METEOR) по сравнению с нейросетевыми методами. Кроме того, использование данной модели позволяет частично очистить и нормализовать данные для обучения, в том числе нейросетевых архитектур, широко применяющихся в анализе изображений. Рассматриваются перспективы использования данной методики в ситуационном мониторинге. В качестве недостатков данного подхода можно отметить некоторые упрощения при построении модели, которые будут учтены в дальнейшем развитии модели.