Автоматическая идентификация языка документа для последующего Cross-Language анализа

Abstract

Определение языка является важной стадией работы с текстовыми документами, так как от нее зависит эффективность приложений по обработке естественных языков (NLP): информационный поиск (IR), вопросно-ответные системы (QA), автоматическое реферирование (Summarization). В зависимости от применяемых правил построения поисковых образов и стратегий их сравнения различают несколько основных методов. Статья посвящена описанию программной реализации модифицированной версии алгоритма N-грамм, основанному на статистиках документов с известным заранее языком и кодировкой.