| DC Field | Value | Language |
|---|
| dc.contributor.author | Вашкевич, Е. К. | - |
| dc.date.accessioned | 2020-10-01T07:21:14Z | - |
| dc.date.available | 2020-10-01T07:21:14Z | - |
| dc.date.issued | 2020 | - |
| dc.identifier.citation | Вашкевич, Е. К. Токенезация в NLP / Вашкевич Е. К. // Инфокоммуникации : сборник тезисов докладов 56-ой научной конференции аспирантов, магистрантов и студентов БГУИР, Минск, 18 – 20 мая 2020 г. / Белорусский государственный университет информатики и радиоэлектроники. – Минск : БГУИР, 2020. – С. 67-68. | ru_RU |
| dc.identifier.uri | https://libeldoc.bsuir.by/handle/123456789/40257 | - |
| dc.description.abstract | Обработкой естественного языка (NLP – Natural Language Processing) называется активно развивающаяся научная дисциплина, занимающаяся поиском смысла и обучением на основании текстовых данных. Токенизация – это процесс разбиения фразы, предложения, абзаца или всего текстового документа на более мелкие единицы, например, отдельные слова или термины. Каждое из этих меньших подразделений называется токенами. В статье проведен краткий обзор типов и средств токенизации. | ru_RU |
| dc.language.iso | ru | ru_RU |
| dc.publisher | БГУИР | ru_RU |
| dc.subject | материалы конференций | ru_RU |
| dc.subject | обработка естественного языка | ru_RU |
| dc.subject | токенизация | ru_RU |
| dc.title | Токенезация в NLP | ru_RU |
| dc.type | Статья | ru_RU |
| Appears in Collections: | Инфокоммуникации : материалы 56-й научной конференции аспирантов, магистрантов и студентов (2020)
|
