deep-learning - 如何使用 Fasttext 构建 lemmatizer

Question

我在阿拉伯语方言中有大量单词（4M）及其对应的词条，我想通过利用它为不在该数据中的新词构建词条分析器。问题是如何使用 FastText 来构建这个词形还原器？

标签： deep-learningnlplemmatizationfasttext

Answer 1

我认为 fasttext 对于词形还原任务没有用：词嵌入对语料库中的词没有语法知识。

相反，您应该考虑使用经典的 NLP 库，例如 Spacy 或 NLTK。