pyspark - 使用分隔符拆分 Pyspark 列
问题描述
我想用一个点分隔我的 Pyspark 列。该列是在我从 HDFS 读取 CSV 文件时创建的。我使用了下面的代码块
from pyspark.sql import functions as F
split_col = F.split(df['File_ID'], '.')
df = df.withColumn('File_ID', split_col.getItem(0)) \
.withColumn('csv', split_col.getItem(1)) \
df.show(truncate=False)
我有一个错误,比如
TypeError: 'Column' object is not callable
我该如何解决?有什么建议么?
解决方案
推荐阅读
- xaml - Xamarin - stacklayout数据模板中的绑定命令不起作用
- c++ - 暗网制造错误收集器2:错误:ld返回1退出状态
- python - 如何选择保留参考列熊猫数据框的列
- python - 离散正态分布以获得随机变量的概率
- python - 变量可以用作 PyMC3 模型中的“观察到的”数据吗?
- java - 如何使用二叉搜索比较树显示数组的值?
- python - HTTP请求函数,表示没有模型属性-DJango
- amazon-web-services - 我应该将我的对象存储在 AWS Running Ec2 Instance With Application Load Balancer 的什么位置
- python-3.x - Reportlab 中的表格内容太长
- android - 清除文本字段不会删除所有数据