python - 在 pandas Series 和 Dataframe 中使用 Spacy 的词形还原问题
问题描述
我正在使用 Pandas 和 Spacy 处理形状为 (14640,16) 的文本数据,但在获取文本形式时遇到问题。此外,如果我使用仅包含文本列的熊猫系列(即具有一列的数据框),也会有不同的问题。
代码:(数据框)
nlp = spacy.load("en_core_web_sm")
df['parsed_tweets'] = df['text'].apply(lambda x: nlp(x))
df[:3]
在此之后,我使用 parsed_tweets 遍历列以获取 lemmetized 数据但得到错误。
代码:
for token in df['parsed_tweets']:
print(token.lemma_)
代号:(熊猫系列)
df1['tweets'] = df['text']
nlp = spacy.load("en_core_web_sm")
for text in nlp.pipe(iter(df1), batch_size = 1000, n_threads=-1):
print(text)
有人可以帮我解决错误吗?我尝试了其他 stackoverflow 解决方案,但无法让 Spacy 的 doc 对象对其进行迭代并获取令牌和 lemmetized 令牌。我究竟做错了什么?
解决方案
#you can directly get your lemmatized token by running list comprehension in your lambda function
df['parsed_tweets'] = df['text'].apply(lambda x: [y.lemma_ for y in nlp(x)])
print(type(df['parsed_tweets'][0]))
#op
spacy.tokens.doc.Doc
for i in range(df.shape[0]):
for word in df['parsed_tweets'][i]:
print(word.lemma_)
#op
play
football
i
be
work
hard
推荐阅读
- sql - SQL/mariadb 使用 IN() 以相同顺序在多个列上进行选择
- unity3d - Unity Assets 不会与玩家发生碰撞,但立方体等会
- android-studio - Toast 消息未在 Android Studio 中显示
- pre-commit.com - 有什么方法可以从钩子中获取用户输入?
- nestjs - 将参数放入 @Entity() 有什么作用?
- c# - 在具体类型是另一个泛型的情况下,具体实现工厂/类组合
- react-native - react-native-map-clustering:选择更改时的缓慢 UI 渲染/过渡
- facebook - 已授予应用权限但无法生成令牌
- java - 在 Android Studio 中动态设置按钮的约束
- python - 如何将凌乱的构建文件夹变成 exe?