Автоматический анализ веб-ресурсов белорусских университетов на основе методов кластеризации и нейросетевых эмбеддингов

Abstract

В работе выполнен автоматический анализ и ранжирование сайтов белорусских университетов методами машинного обучения. На основе данных, собранных парсингом HTML главных страниц, вычислены матрицы сходства по коэффициентам Сёренсена Дайса и косинусному расстоянию TF-IDF. Для группировки проведена кластеризация методами K-Means и иерархическая кластеризация, для визуализации использовался метод главных компонент, для семантического анализа – нейросетевые эмбеддинги. По результатам взвешенной оценки структурных признаков построен финальный рейтинг исследуемых веб ресурсов.