时间戳

首页 > 解决方案 > 读取没有分区列名的分区列

apache-spark - 读取没有分区列名的分区列

问题描述

我们将存储在 s3 中的数据按以下结构分区：

bucket/directory/table/aaaa/bb/cc/dd/

哪里aaaa是年，bb是月，cc是日，dd是小时。

如您所见，路径中没有分区键 ( year=aaaa, month=bb, day=cc, hour=dd).

结果，当我将表读入 Spark 时，没有year、或列。monthdayhour

无论如何我可以将表读入 Spark 并包含分区列而不包含：

标签： apache-sparkamazon-s3pysparkparquetpartition

解决方案

Spark 无法发现未在路径中编码的分区partition_name=value，因此您必须创建它们。

在将路径加载bucket/directory/table/aaaa/bb/cc/dd/到 DataFrame 中后，您可以从使用input_file_name().

首先，使用分隔符拆分文件名路径，/然后从最后 4 个元素创建列：

from pyspark.sql import functions as F

df1 = df.withColumn("date_partitions", F.slice(F.split(F.input_file_name(), "/"), -5, 4)) \
    .withColumn("year", F.col("date_partitions").getItem(0)) \
    .withColumn("month", F.col("date_partitions").getItem(1)) \
    .withColumn("day", F.col("date_partitions").getItem(2)) \
    .withColumn("hour", F.col("date_partitions").getItem(3)) \
    .drop("data_partitions")

例子：

data = [
    (1, 2, "bucket/directory/table/2021/01/10/14/"),
    (3, 4, "bucket/directory/table/2021/01/11/18/")
]

df = spark.createDataFrame(data, ["a", "b", "input_file_name"])

给出：

#+---+---+-------------------------------------+----+-----+---+----+
#|a  |b  |input_file_name                      |year|month|day|hour|
#+---+---+-------------------------------------+----+-----+---+----+
#|1  |2  |bucket/directory/table/2021/01/10/14/|2021|01   |10 |14  |
#|3  |4  |bucket/directory/table/2021/01/11/18/|2021|01   |11 |18  |
#+---+---+-------------------------------------+----+-----+---+----+

推荐阅读