Классификация и обзор методов параметро-эффективной адаптации больших языковых моделей (LLM)

Abstract

В последние годы большие языковые модели (LLM, Large Language Models) стали ключевым инструментом в задачах обработки естественного языка. Их применение в специализированных предметных областях сталкивается с проблемами высокой вычислительной сложности и ограниченной доступности данных для дообучения. В данной работе представлен обзор существующих методов параметро-эффективной адаптации LLM, проводится их классификация и сравнительный анализ. Основное внимание уделено подходам, позволяющим адаптировать модели без изменения всех весов, что делает их более практичными для узкоспециализированных задач.