apache-spark - 当前摄取的 Apache Hudi 提交 ID
问题描述
如何获取当前的摄取提交 ID。我知道 HoodieDataSourceHelpers.latestCommit 方法可以用来查找最新的提交。但是如果在不同的线程中有并发写入会发生什么。我需要找到每个线程的 commitID
解决方案
Hudi 目前不允许并发写入。无论如何HoodieDataSourceHelpers.latestCommit都会返回最新的提交。
推荐阅读
- python - 如何通过 HDMI 将 Python 线图输出发送到另一台显示器？
- javascript - 通过 react 中的特定 id 启用和禁用 onClick() 功能
- visual-studio-code - 如何使“按位置排序”成为大纲视图中的默认选项？
- reactjs - 找不到模块“@babel/helper-regex”需要堆栈
- git - 使用漂亮格式时如何为合并提交着色？
- javascript - 未提供查询参数时的默认 GraphQL 服务器字符串响应？
- c# - ASP.NET：如何避免动态创建按钮事件刷新页面而不是做相关代码的情况
- time-complexity - O(n) 和 O(log n) 的乘积是多少？
- swift - ARKit - 具有相似图像但颜色不同的图像识别
- pandas - 如何根据它们的数量删除数据框中的大量列？