apache-spark - 高效读取 Spark 中的嵌套拼花列
问题描述
我有以下(简化的)架构:
root
|-- event: struct (nullable = true)
| |-- spent: struct (nullable = true)
| | |-- amount: decimal(34,3) (nullable = true)
| | |-- currency: string (nullable = true)
| |
| | ... ~ 20 other struct fields on "event" level
我正在尝试对嵌套字段求和
spark.sql("select sum(event.spent.amount) from event")
根据 spark 指标,我从磁盘读取 18 GB,需要 2.5 分钟。
但是,当我选择顶级字段时:
spark.sql("select sum(amount) from event")
我在 4 秒内只读取了 2GB。
从物理计划中我可以看到,在嵌套结构的情况下,具有所有字段的整个事件结构都是从镶木地板中读取的,这是一种浪费。
Parquet 格式应该能够从嵌套结构中提供所需的列,而无需全部读取(这是列式存储的要点)。有没有办法在 Spark 中有效地做到这一点?
解决方案
解决方案:
spark.sql("set spark.sql.optimizer.nestedSchemaPruning.enabled=true")
spark.sql("select sum(amount) from (select event.spent.amount as amount from event_archive)")
查询必须以子选择方式编写。您不能将所选列包装在聚合函数中。以下查询将破坏模式修剪:
select sum(event.spent.amount) as amount from event
SPARK-4502涵盖了整个模式修剪工作
肮脏的解决方法也可以在加载时指定“投影模式”:
val DecimalType = DataTypes.createDecimalType(18, 4)
val schema = StructType(StructField("event", StructType(
StructField("spent", StructType(
StructField("amount", DecimalType, true) :: Nil
), true) :: Nil
), true) :: Nil
)
val df = spark.read.format("parquet").schema(schema).load(<path>)
推荐阅读
- corda - 具有 OneToMany 映射的 LinearState
- javascript - 如何离线查看一个简单的 create-react-app 组件?
- go - 初始化从 XML 创建的嵌套匿名结构到结构转换器
- php - 有人通过 PayPal 捐款时如何更新捐款栏?
- java - 如何使用方法、数组和循环从代码中删除字符串?
- django - 带参数的 Django 管理器
- julia - 为什么 python-jl 在运行 julia 版本 1.2.0 时会崩溃
- python - 初始化存储库时出现问题 [Errno 13] 权限被拒绝
- amazon-web-services - 如何在 AWS ECS 上的 Fargate 服务之间进行通信?
- weblogic12c - 未找到 WebLogic 类异常