https://libeldoc.bsuir.by/handle/123456789/62153| Title: | Оценка производительности программ для локального запуска больших языковых моделей |
| Authors: | Дичковский, В. А. Ковалёв, М. В. |
| Keywords: | материалы конференций;видеокарты;языковые модели;производительность;бенчмаркинг |
| Issue Date: | 2025 |
| Publisher: | БГУИР |
| Citation: | Дичковский, В. А. Оценка производительности программ для локального запуска больших языковых моделей / В. А. Дичковский, М. В. Ковалёв // Информационные технологии и системы 2025 (ИТС 2025) : материалы Международной научной конференции, Минск, 19 ноября 2025 / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: Л. Ю. Шилин [и др.]. – Минск, 2025. – С. 49–50. |
| Abstract: | В данном докладе представлен сравнительный анализ трёх популярных локальных решений для работы с LLM - vLLM, Ollama и Llama.cpp. Для оценки производительности программ при генерации ответов использовались следующие метрики: время до первого токена, сквозная задержка , задержка между токенами, скорость генерации и количество запросов в секунду. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/62153 |
| Appears in Collections: | ИТС 2025 |
| File | Description | Size | Format | |
|---|---|---|---|---|
| Dichkovskij_Ocenka.pdf | 120.47 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.