Сквозной бенчмаркинг ML-стека: от Python-бэкенда до JS-фронтенда в задаче классификации изображений

Abstract

В работе рассмотрен сквозной бенчмаркинг производительности стека технологий для задачи классификации изображений, охватывающий этапы от инференса моделей на бэкенде до отображения результатов на веб-клиенте. Анализируются подходы к развертыванию как собственных моделей на фреймворках PyTorch и TensorFlow, так и готовых решений с использованием специализированных рантаймов. Рассматриваются следующие методы оптимизации серверной логики Python-бэкенда: асинхронность, батчинг, кэширование. В качестве методов оптимизации клиентской части на JavaScript рассматриваются работа с Canvas API, веб-воркерами, управление событиями. Цель работы – выявление узких мест и формулировка практических рекомендаций для построения высокопроизводительных ML-веб-приложений.