时间戳

首页 > 解决方案 > Python - Spark - RDD 日期转换

python - Python - Spark - RDD 日期转换

问题描述

可以在不将 RDD 转换为 DataFrame 的情况下在 datetime 中转换 RDD 元素吗？

我正在尝试很多方法，但我没有走运......

data.sortBy(lambda l: to_date(l[-2])).collect()
data.sortBy(lambda l: Date.valueOf(l[-2])).collect()
data.sortBy(lambda l: datetime(l[-2])).collect()

有没有办法做到这一点？

谢谢！

标签： pythonapache-sparkdatetimepysparkrdd

解决方案

sortBy只能更改 a 中元素的顺序RDD，不能更改其内容。为了实际获得任何一个日期时间转换函数的返回值，您必须map改用：

data.map(lambda l: datetime(l[-2])).collect()

推荐阅读