airflow - 气流在每个批次的循环中运行任务
问题描述
我需要一次处理一个文件中的多批行。我最初是在想象 Task-A 将文件分成 x 个批次。将每个批次提交给任务 B，以便 B 可以处理传入的批次（调用另一个 REST 端点）。我想知道当我们按顺序构造每批行时，任务（A）是否有办法在循环中调用另一个任务（B）？因此 B 可以处理该批次。
如果没有，您对设计这个批处理系统的更好方法有什么建议吗？要求之一是能够在运行中停止/启动此文件处理以及同时运行多个文件的能力。
解决方案
推荐阅读
- swift - UIView.animate() 问题
- python - atexit/sigterm 触发的函数未在终止的进程上调用
- python - 我怎样才能从这个线性回归中得到 r_value？
- keras - 我不知道连接层在混合 LSTM_Mlp 模型中的作用（有两个单独的输入）？
- python - 如何使用 plt.text() 函数来打字，就像那是一个传奇？
- javascript - 未捕获的 ReferenceError（变量已定义并显示在控制台中，但显示此错误）
- javascript - 页面不刷新。为什么？
- sql-server - SQL 服务器。密码哈希的数据类型 (sha 512)
- flutter - 只接受十进制数的文本字段
- python - 将多个字典组合成一个 DF