Семантический анализ визуальной сцены

Abstract

Переход от графического представления видеосцены к ее естественно-языковому описанию является естественным шагом в процедуре семантического анализа видеосцены, позволяющим снять вариативность изображений с одной стороны, а с другой – использовать уже сформировавшиеся механизмы анализа текстов для формирования семантических представлений в виде неоднородных семантических сетей. При этом видеокадры видеосцены переописываются из графического формата в представление в терминах характерных признаков, полученных на выходе сенсоров. Этим представлениям ставятся в соответствие шаблоны естественного языка, соответствующие сценариям, представленным на видеокадрах. Далее, последовательность шаблонов, полученных при анализе видеоряда анализируется статистически как квазитекст. И, наконец, связи пар вершин полученной в результате статистического анализа однородной семантической сети размечаются типами отношений с помощью лингвистических механизмов синтактико-семантического анализа предложений. Полученные в результате этих процедур квазитекст и его неоднородная семантическая сеть могут служить для анализа более высокого уровня.