hive - 执行两个 tHiveRow 组件后,第一个组件仍在写入数据,而第二个组件已开始移动导致问题的数据
问题描述
我有一个运行 2 个 tHiveRow 组件的 Talend 作业。
第一个加载带有INSERT OVERWRITE
语句的临时表,数据量约为 500,000 行。第二个 tHiveRow 执行一个merge
语句来更新新的和更改的数据。
第一个 tHiveComponent 有日志,所以第二个 tHiveRow 组件启动
“在子作业上确定”
一切都完成了,没有错误被抛出。但是,暂存表中的数据比洞察表中的数据更新。
暂存表数据应该都在洞察表中,但有些缺失。当第二个开始时,似乎第一个 tHiveRowINSERT OVERWRITE
没有完成。我怎样才能确保它在下一个开始之前完成?
我尝试在第一个作业完成后使用“On Subjob OK”和“ON Component OK”来触发第二个作业,但面临同样的问题。
解决方案
推荐阅读
- android - 尝试改造(一个 android api 库),遇到了一些问题
- css - Flexbox 和 SVG 内容
- python - Clone Kubernetes objects programmatically using the Python API
- android - 防止重定向触发应用/通用链接行为
- excel - EXCEL:根据今天()从一张表中提取数据并显示在另一张表上
- angular - 根据角度表单构建器/组中其他字段的值运行并设置一个字段的验证错误
- asp.net-mvc - 使用会话未过期,并且用户在空闲时间后未重定向到登录页面(MVC)
- excel - 如果日期校正VBA的条件
- css - Angular 8:将 Mat-form-field 中的高度更改为特定像素数
- php - ACF 中继器字段 [短代码] - 如果子字段为空,则不显示任何内容