Модель распознавания психоэмоционального состояния человека в реальном времени

Abstract

В статье рассматривается модель распознавания психоэмоционального состояния человека в реальном времени, предназначенная для использования в системах интеллектуального видеонаблюдения в рамках концепции «умного города». Основное внимание уделяется задаче выявления потенциальных антропогенных угроз на основе анализа мимических проявлений лица. В качестве основы используется модель распознавания эмоций Facial Emotion Recognition (FER), реализованная с применением сверточных нейронных сетей и библиотеки Keras. Описана архитектура модели, включающая этапы детекции лиц, классификации базовых эмоций и постобработки результатов. Для повышения точности распознавания в специфических условиях освещения и ракурса выполнено частичное дообучение (fine-tuning) предобученной модели на дополнительной выборке изображений. Также представлена интеграция механизма идентификации лиц на основе дескрипторов dlib, что позволяет одновременно определять личность и её текущее эмоциональное состояние. Полученные результаты подтверждают возможность применения предложенной модели для оценки психоэмоционального состояния человека с высокой степенью достоверности в режиме реального времени.