Анализ и выбор метрик для оценки моделей семантического сравнения: от базовых показателей до ранговых метрик

Abstract

В статье систематизированы подходы к оценке моделей семантического сравнения текстов (Semantic Textual Similarity, STS) и обоснован выбор метрик качества в зависимости от постановки задачи и архитектуры модели. Рассмотрены метрики сходства векторных представлений, показатели бинарной классификации, корреляционные критерии для шкального STS, а также ранговые метрики информационного поиска. Показано, что использование единственного показателя (например, корреляции или Accuracy) может приводить к некорректным выводам при переносе модели в прикладные сценарии, особенно в двухэтапных конвейерах retrieval + re-ranking. Предложен практический протокол эксперимента, включающий подбор порога на валидации, расчёт F1/PR-AUC для верификации и nDCG@k/MRR/Recall@k для задач ранжирования. Приведён пример вычисления метрик на типовых наборах данных и рекомендации по интерпретации результатов с учётом дисбаланса классов, калибровки шкалы и требований к полноте поиска.