首页 > 解决方案 > Python nltk.util ngram 输出格式错误

问题描述

我是 Python 新手,正在做我的第一个课程作业练习。试图将一些文本转换为 trigram 标记,但我没有得到预期的输出:

    from nltk.util import ngrams

    def process_text(text, n = 1):
           tokens = [token for token in text.split(" ") if token != ""]
           tokenised = list(ngrams(tokens, n))
           return tokenised

    process_text("knife pot spoon hammer nail", 3)

输出:

              [('knife', 'pot', 'spoon'),
              ('pot', 'spoon', 'hammer'),
              ('spoon', 'hammer', 'nail')]

输出应如下所示:

             ['knife pot spoon',
              'pot spoon hammer',
              'spoon hammer nail]

标签: python

解决方案


推荐阅读