hive - 除了在databrick sql(spark sql)中不起作用的命令
问题描述
我已经写了这个除了查询以从 databricks 笔记本的两个配置单元表中获取记录的差异。(我试图在 mssql 中获得结果,即只有结果集的差异)
select PreqinContactID,PreqinContactName,PreqinPersonTitle,EMail,City
from preqin_7dec.PreqinContact where filename='InvestorContactPD.csv'
except
select CONTACT_ID,NAME,JOB_TITLE,EMAIL,CITY
from preqinct.InvestorContactPD where contact_id in (
select PreqinContactID from preqin_7dec.PreqinContact
where filename='InvestorContactPD.csv')
但是返回的结果集也有匹配的记录。我上面显示的记录来自结果集中,但是当我根据contact_id单独检查它时,它是相同的。所以我不知道为什么除了返回匹配的记录。
只是想知道我们如何通过使用 sql 在 databrick 笔记本中使用 except 或任何差异查找命令。
如果源数据和目标数据相同,我不想在结果集中看到任何内容。
解决方案
EXCEPT
在 Databricks 中运行良好,因为这个简单的测试将显示:
val df = Seq((3445256, "Avinash Singh", "Chief Manager", "asingh@gmail.com", "Mumbai"))
.toDF("contact_id", "name", "job_title", "email", "city")
// Save the dataframe to a temp view
df.createOrReplaceTempView("tmp")
df.show
SQL 测试:
%sql
SELECT *
FROM tmp
EXCEPT
SELECT *
FROM tmp;
此查询不会产生任何结果。例如,您是否可能有一些前导或尾随空格?Spark 也区分大小写,因此也可能导致您的问题。LOWER
通过将函数应用于所有列来尝试不区分大小写的测试,例如
推荐阅读
- javascript - 从所选选项动态更新价格 js 或 jquery
- html - 如何使堆叠的 div 宽度相同?
- reactjs - NotFound 页面在服务器上不起作用
- java - 检查长度时用户名正则表达式不起作用
- swift - tableView 中的问题约束动画
- mongodb - 如何在 Micronaut 中使用反应式 MongoDB?
- python - 我已经导入了 Selenium,我以为它是用 Python 安装的,我找不到哪里出了问题
- plone - 如果您移动图像或目标页面,Plone 上的链接会更新吗?(4.3.4.1)
- google-bigquery - 如何在 BigQuery 中的同一查询中获得不同条件的多个计数?
- xml - 用于 xml 验证的 Perforce 触发器