| Title: | Оптимизация инференса больших языковых моделей методом квантования весов |
| Authors: | Жинко, Д. С. |
| Keywords: | материалы конференций;большие языковые модели;инференс;квантование весов;модели глубокого обучения;сжатие моделей |
| Issue Date: | 2026 |
| Publisher: | БГУИР |
| Citation: | Жинко, Д. С. Оптимизация инференса больших языковых моделей методом квантования весов / Д. С. Жинко // Информационные технологии и управление : материалы 62-ой научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 13–17 апреля 2026 года / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: А. А. Навроцкий [и др.]. – Минск, 2026. – С. 89. |
| Abstract: | В докладе исследуются методы оптимизации вычислительных ресурсов при работе с большими языковыми моделями (LLM).Рассматривается алгоритм 4-битного квантования (QLoRA) как средство снижения требований к видеопамяти. Приводятся результаты сравнительного анализа точности и скорости работы моделей до и после оптимизации, обосновывается эффективность применения данных методов для локального развертывания нейросетей. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/65072 |
| Appears in Collections: | Информационные технологии и управление : материалы 62-й научной конференции аспирантов, магистрантов и студентов БГУИР (2026)
|
