https://libeldoc.bsuir.by/handle/123456789/40257| Title: | Токенезация в NLP |
| Authors: | Вашкевич, Е. К. |
| Keywords: | материалы конференций;обработка естественного языка;токенизация |
| Issue Date: | 2020 |
| Publisher: | БГУИР |
| Citation: | Вашкевич, Е. К. Токенезация в NLP / Е. К. Вашкевич // Инфокоммуникации : сборник тезисов докладов 56-ой научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 18–20 мая 2020 г. / Белорусский государственный университет информатики и радиоэлектроники. – Минск : БГУИР, 2020. – С. 67–68. |
| Abstract: | Обработкой естественного языка (NLP – Natural Language Processing) называется активно развивающаяся научная дисциплина, занимающаяся поиском смысла и обучением на основании текстовых данных. Токенизация – это процесс разбиения фразы, предложения, абзаца или всего текстового документа на более мелкие единицы, например, отдельные слова или термины. Каждое из этих меньших подразделений называется токенами. В статье проведен краткий обзор типов и средств токенизации. |
| URI: | https://libeldoc.bsuir.by/handle/123456789/40257 |
| Appears in Collections: | Инфокоммуникации : материалы 56-й научной конференции аспирантов, магистрантов и студентов (2020) |
| File | Description | Size | Format | |
|---|---|---|---|---|
| Vashkevich_Tokenizatsiya.pdf | 343.52 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.