Сравнение методов оценки семантического сходства текстовых фрагментов

Abstract

В условиях быстрого роста объема текстовых данных появляется потребность в методах, спо собных эффективно сравнивать фрагменты текста по смыслу, включая случаи перефразирования, синони мизации и перестройки структуры предложений. Одна из актуальных задач – сопоставление результатов методов семантического сравнения на основе различных моделей с человеческим восприятием смысловой близости. В статье рассматривается экспертный метод оценки семантического сходства текстовых фраг ментов, основанный на оценках участников анкетирования. Суть метода заключается в формировании интерпретируемой шкалы семантической близости, полученной на основе человеческого восприятия со держания текстов и используемой для анализа согласованности различных методов. Для формирования «человеческой» оценки проведен опрос 138 участников. Сравнительный анализ показал, что различные методы оценки семантического сходства демонстрируют неодинаковую степень согласованности с челове ческим восприятием смысловой близости текстов.