apache-spark - 检索列中具有不同值的 Spark 数据集
问题描述
我从 csv 文件创建了一个 Spark 数据集。
架构是:
|-- FirstName: string (nullable = true)<br>
|-- LastName: string (nullable = true)<br>
|-- Email: string (nullable = true)<br>
|-- Phone: string (nullable = true)
我正在对电子邮件字段执行重复数据删除:
Dataset<Row> customer= spark.read().option("header","true").option("charset","UTF8")
.option("delimiter",",").csv(path);
Dataset<Row> distinct = customer.select(col).distinct();
我想创建一个输出 csv 文件,其中包含具有不同电子邮件 ID 的行。
如何查询以检索具有不同电子邮件记录的数据集?
样本输入:
John David john.david@abc.com 2222
John Smith john.smith@abc.com 4444
John D john.david@abc.com 2222
样本输出:
John David john.david@abc.com 2222
John Smith john.smith@abc.com 4444
提前致谢
解决方案
这是使用窗口函数的一种方法。
import org.apache.spark.sql.functions.row_number
import org.apache.spark.sql.expressions.Window
val df = Seq(
("John", "David", "john.david@abc.com", 2222),
("John", "Smith", "john.smith@abc.com", 4444),
("John", "D", "john.david@abc.com", 2222)
).toDF("FirstName", "LastName", "Email", "Phone")
val w = Window.partitionBy($"Email").orderBy($"Phone")
df.withColumn("row", row_number.over(w))
.where($"row" === 1)
.drop("row")
.show(false)
该代码将通过电子邮件进行分区,然后将返回每个分区的第一行。
输出:
+---------+--------+------------------+-----+
|FirstName|LastName|Email |Phone|
+---------+--------+------------------+-----+
|John |Smith |john.smith@abc.com|4444 |
|John |David |john.david@abc.com|2222 |
+---------+--------+------------------+-----+
推荐阅读
- html - Fabricjs:如何只显示图像的一部分?
- mysql - MySQL查询连接同一表中的行
- r - R:具有“mapdist”功能的ggmap翻转输出距离
- python - 如何从 Pytorch Fashion MNIST 中分离输入和目标?
- unity3d - 如果脚本在另一个场景中,如何将对象分配给脚本?
- vega-lite - Y 轴刻度,最大值设置为数据的 90%
- r - 如何将特定列应用于 R 中的 sapply 函数?
- mysql - 无法远程连接到 MySQL
- android - 使背景颜色透明时,Android导航栏后面有半透明方块
- php - Docker - PHP 脚本不执行