python - 如何组合每行中的分隔列？

Question

我清理了包含 50000 行文本的 csv 文件并标记了每一行。然而，在每一行，单词被分成不同的列：

202五月 || 被击败 || 领主 || 同行 || 返回 || 新 || 莱维森

但我希望将每一行连接起来，而不是由每个标记化的单词分隔：

202MAY 击败 Lords PEERS 回归新 LEVESON

全部在每一行的一列中

每行都有不同数量的单词，所以列的数量也不同，我该如何解决这个问题？

标签： pythoncsvtokenize

Answer 1

[gokul@python ~]$ cat sample.csv
a,b,c
dd,gg,f,t,y
x,y
[gokul@python ~]$ sed -i "s/,//g" sample.csv
[gokul@python ~]$ cat sample.csv
abc
ddggfty
xy
[gokul@python ~]$

因此，不要将文件作为结构化内容读取，只需将文件作为纯文本文件读取并将逗号替换为 null。