Оценка качества RAG-систем (LLM + поиск) в прикладных задачах

Abstract

В работе рассматривается задача оценки качества систем генерации ответа с поисковым дополнением в прикладной задаче вопросно-ответного взаимодействия по текстовому корпусу. Исследование направлено на сравнение двух подходов: генерации ответа без внешнего контекста и генерации ответа с предварительным извлечением релевантных документов. В практической части используется набор данных, содержащий вопросы, ответы и подтверждающие документы, что позволяет оценивать не только итоговый ответ, но и качество поиска. Эксперимент показывает, что подключение внешнего текстового контекста повышает точность и полноту ответа по сравнению с генерацией без поиска. Также установлено, что итоговое качество системы в значительной степени зависит от качества извлечения документов, а подача эталонного контекста позволяет определить верхнюю границу качества всей архитектуры. Полученные результаты подтверждают целесообразность применения систем генерации ответа с поисковым дополнением в задачах, где требуется опора на документы и фактическая обоснованность ответа.