apache-spark - 为什么解析字符串列时的 to_date 函数为 Pyspark 中的某些记录提供空值
解决方案
您应该使用h
( MM/dd/yy hh:mm aa
) 而不是H
( MM/dd/yy HH:mm aa
) 因为您的时间是“时钟-小时-上午-下午”,而不是“一天中的小时”。有关日期时间模式字符串的正确用法,请参阅文档。
您可能还想使用适用于 Spark 3.0 的模式,例如
M/d/yy h:mm a
这样您就不需要将时间戳解析器设置为传统模式。只需要一个字母M
,因为根据文档,字母的数量d
......h
表示可以使用这种类型的日期时间模式的最大字母数
而对于a
...
图案字母数必须为 1。
from_unixtime(unix_timestamp())
返回时间戳,同时to_date
返回日期。还有一个功能to_timestamp
与from_unixtime(unix_timestamp())
.
推荐阅读
- matlab - MATLAB:websave 函数不保存图像
- assembly - 这部分代码有什么作用?我有点迷路了
- sql - SELECT 查询以根据上次更新时间从上次获取以来从表中获取记录
- swiftui - 如何让 TextField 值更改触发 SwiftUI 中另一条数据的更新?
- google-cloud-platform - GCP Pub/Sub 身份验证令牌未出现在请求中
- recursion - 如何反转 SML 中的自定义列表?
- r - 如何从 R 环境中删除名称中包含变音符号的对象?
- matplotlib - 如何修复重叠的 Metpy/Cartopy 图像?
- mysql - MySQL中子查询的聚合结果不保留我的字段之一
- python - 在平面图上均匀分布的传感器之间进行插值的最佳库和方法是什么?