python - 如何在 nltk POS 数据上应用 TFIDF .....？

Question

我将 nltk POS 特征化应用于我的熊猫数据框中的评论列。我得到了新功能，但是当我尝试在该功能上应用 TFIDF 矢量化时，它显示错误，例如

错误：应用 TFIDF Vectorizer

AttributeError 时：'list' 对象没有下层属性

我将以下代码用于 nltk POS

pure_df['pre_pro_plot_synopsis_POS'] = pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

谁能帮我将 POS 数据传递给 tfidf 矢量化器？

提前致谢

标签： pythonmachine-learningnltkdata-sciencetfidfvectorizer

Answer 1

在这里，您创建的方法似乎pos_tag_sents需要一个字符串作为参数，但在这里您将列表作为参数传递给它。所以代替这一行： pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

再次尝试使用 apply 方法并传递pos_tag_sents给它，如下所示：

pure_df['pre_pro_plot_synopsis_POS'] = pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).apply(pos_tag_sents).tolist()

希望能帮助到你。