时间戳

首页 > 解决方案 > 在 Spark SQL 查询中获取键的值

apache-spark - 在 Spark SQL 查询中获取键的值

问题描述

我有以下 DF 模式：

scala> hotelsDF.printSchema()
root
 |-- id: long (nullable = true)
 |-- version: integer (nullable = true)
 |-- timestamp: long (nullable = true)
 |-- changeset: long (nullable = true)
 |-- uid: integer (nullable = true)
 |-- user_sid: binary (nullable = true)
 |-- tags: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- key: binary (nullable = true)
 |    |    |-- value: binary (nullable = true)
 |-- latitude: double (nullable = true)
 |-- longitude: double (nullable = true)

我需要过滤key等于tourism和value等于的记录hotel。我使用以下 SQL 查询来执行此操作：

sqlContext.sql("select * from nodes where array_contains(tags.key, binary('tourism')) and array_contains(tags.value, binary('hotel'))").show()

到目前为止，一切都很好。

现在，我的问题是如何选择给定标签键的值？伪查询将类似于：

sqlContext.sql("select tags.tourism from nodes where array_contains(tags.key, binary('tourism')) and array_contains(tags.value, binary('hotel'))").show()

并返回hotel所有条目。

标签： apache-sparkapache-spark-sql

解决方案

你可以爆炸数组然后过滤：

hotelsDF.withColumn(
    "tags1", 
    explode(col("tags"))
).drop(
    "tags"
).filter(
    (col("tags1.key") == "tourism") & (col("tags1.value") == "hotel")
).show()

推荐阅读