Transformer-архитектура: как изменила подход к разработке систем выявления текстовых заимствований

Abstract

В статье рассматривается влияние архитектуры Transformer на развитие методов автоматического выявления текстовых заимствований в современных системах антиплагиата. Показано, что переход от лексико-статистических и строковых методов сравнения к контекстно-зависимому семантическому анализу способствует повышению качества обнаружения перефразированных и частично модифицированных заимствований. Проанализированы ограничения традиционных подходов, основанных на шинглах, n-граммах и статических эмбеддингах, а также раскрыта роль механизма self-attention в формировании контекстуальных представлений текстовых фрагментов. Особое внимание уделено применению архитектурных стратегий bi-encoder и cross-encoder в составе гибридного конвейера антиплагиатной проверки, обеспечивающего баланс между производительностью и точностью. Представлен упрощённый пример семантического сопоставления сегментов документа с локальным хранилищем и расчёта коэффициента семантических совпадений. Сделан вывод о целесообразности интеграции трансформерных моделей в многоуровневые системы антиплагиата, сочетающие точные лексические алгоритмы и семантический анализ.