Обучение вопросно-ответной нейросетевой модели на базе архитектуры модели LLaVA 1.5 с энкодером Saiga Mistral 7b и алгоритма низкоранговой адаптации LoRA

Abstract

В данной работе реализован алгоритм обучения визуальной вопросно-ответной нейросетевой модели на базе архитектуры нейросетевой модели LLaVA 1.5 с использованием текстового энкодера Mistral 7b, позволяющего улучшить результаты работы модели в задаче визуального вопросно- ответного моделирования и алгоритма низкоранговой адаптации LoRA, позволяющего ускорить процесс обучения модели. Показано, что задача вопросно-ответного моделирования может быть решена нейросетевыми моделями с использованием больших языковых моделей, описана методика ускорения обучения таких моделей. Проведена оценка эффективности разработанной модели и показаны общие аспекты обучения вопросно-ответных моделей на наиболее популярных вопросно-ответных наборах данных.