apache-spark - 如何在 pyspark 中按列对数据帧进行分区以进行进一步处理?
问题描述
我需要按列对数据框进行分区。我知道可以保存在单独的文件中。但是我需要进行分区以进行进一步处理(我需要按一定顺序对分区进行排序并将 udf 应用于有序分区)。
我的代码是:
df = spark.createDataFrame([(2,), (1,), (2,), (1,), (2,)], ("name",)) \
.repartitionByRange(2, "name") \
.rdd.glom().collect()
print(df)
# [[Row(name=2), Row(name=1), Row(name=2), Row(name=1), Row(name=2)], []]
我需要得到类似的东西:
[[(2,), (2,), (2,)], [(1,), (1,)]]
解决方案
您可以使用repartition
代替repartitionByRange
:
df = spark.createDataFrame([(2,), (1,), (2,), (1,), (2,)], ("name",)) \
.repartition(2, "name") \
.rdd.glom().collect()
print(df)
# [[Row(name=2), Row(name=2), Row(name=2)], [Row(name=1), Row(name=1)]]
repartitionByRange
使用抽样来估计范围,可能会导致您观察到的错误。
推荐阅读
- java - 将 SqsListener 配置为长池化
- python - 用python将大文件上传到谷歌云存储的最快方法?
- javascript - 有什么方法可以调整平面列表滚动阈值/灵敏度?
- python - 重新排序ndarray的第n维
- c# - 如何将二维数组与数组顶部和侧面的字符串数组对齐
- c - const char *m = "mnopqr" 和 const char m = "mnopqr" 有什么区别,为什么后者会导致段错误
- java - 如何使用 Arrays.asList() 启动 LinkedList
- database - 如何每月一次从逻辑上交付数据库中的内容
- python - 如何修复此代码并制作我自己的 POS 标记器?(PYTHON)
- python - 在按年龄类别分组的 Pandas DF 中创建新列