sql - 运行多个 sql 查询并测试通过或失败 Spark Scala
问题描述
我正在运行 100 个查询(测试用例)来检查 Spark Scala 中的数据质量。我正在从配置单元表中查询数据。
空数据框是这些示例查询的预期结果:
SELECT car_type FROM car_data WHERE car_version is null
SELECT car_color FROM car_data WHERE car_date is null
SELECT car_sale FROM car_data WHERE car_timestamp is null
我想根据预期结果将测试用例通过或失败写入文本文件。我想知道实现这一目标的最佳方法。
到目前为止我所拥有的:
val test_1 = context.sql("SELECT car_type FROM car_data WHERE car_version is null")
val test_2 = context.sql("SELECT car_color FROM car_data WHERE car_date is null")
val test_3 = context.sql("SELECT car_sale FROM car_data WHERE car_timestamp is null")
test_1.head(1).isEmpty
解决方案
如果您想知道是否有任何值NULL
,可以使用条件聚合。我倾向于使用一个查询来运行所有测试:
SELECT (CASE WHEN COUNT(*) = COUNT(car_type) THEN 'PASS' ELSE 'FAIL' END) as car_type_test,
(CASE WHEN COUNT(*) = COUNT(car_color) THEN 'PASS' ELSE 'FAIL' END) as car_color_test,
(CASE WHEN COUNT(*) = COUNT(car_sale) THEN 'PASS' ELSE 'FAIL' END) as car_sale_test
FROM car_data;
注意:这认为一个空表可以通过测试,而您的代码不会。这些可以很容易地修改以处理这种情况,但这种行为对我来说很有意义。
推荐阅读
- android - 无法在 Android 上应用“io.fabric”插件
- razor - RAZOR PAGES .NET CORE 2.0,根据另一个下拉列表中的选择填充下拉列表
- html - 以角度压缩上传图像
- batch-file - 如何使用cmd从文本文件中删除第一行?
- android - 在某些设备上未调用 onAudioFocusChangeListener()
- sql - 将 Millis 公式化为 HHH:MM:SS
- python - 在 TensorFlow 中传递和使用稀疏矩阵
- javascript - 有没有办法设置网格行/列开始,如:[行名] + 2?
- c# - 关于 DateTime.Now.AddDays(-5).ToString("dd-MMM-yyyy")
- jquery - TypeError:不能使用“in”运算符在“created_at”中搜索“length”