google-bigquery - 如果 Table 中已存在内容，请避免在 Bigquery 中重新加载数据
问题描述
我正在写一个气流管道。我需要编写 dag，以便将 csv 文件的内容加载到 Bigquery Table，但如果内容已经存在于表中，它会丢弃该文件。我知道我们可以在正常编程中通过计算文件的哈希来做到这一点，但不知道如何使用 Airflow 和 Bigquery。有谁知道该怎么做？
解决方案
推荐阅读
- jquery - 无法将数据/参数传递给 ajax 调用
- powershell - 使用 Select-String 抓取网页或其他方法
- python - 数据迁移产生的 ValueError 必须是“用户”实例，但它是吗？
- assembly - 汇编x86“输入0,0”的目的是什么
- javascript - 如何将 Json 文件的格式转换为另一种格式？
- postgresql - Postgresql order by 无法正常工作
- ios - 如何使用私人可可豆荚
- ios - Swift 不能在属性初始化器中使用实例成员
- scip - 双绑定更改事件类型？
- python - Keras：model.fit_generator 运行良好然后崩溃