python-3.x - 如何使用 Python 代码启动数据流作业
问题描述
一旦我将一个文件放到云存储中,我想启动数据流作业。我启动一个云功能来触发它。但我不知道如何用 Python 启动 datadlow 作业?有人可以帮忙吗?
const kickOffDataflow = (input, output) => {
var jobName = CONFIG.DATAFLOW_JOB_NAME;
var templatePath = CONFIG.TEMPLETE_FILE_PATH;
var request = {
projectId: "test",
requestBody: {
jobName: jobName,
parameters: {
configFile: input,
outputFile: output,
mode: "cluster_test"
},
environment: {
zone: "europe-west1-b"
}
},
gcsPath: templatePath
}
console.log("Start to create " + jobName + " dataflow job");
return google.auth.getClient({
scopes: ['https://www.googleapis.com/auth/cloud-platform']
}).then(auth => {
request.auth = auth;
return dataflow.projects.templates.launch(request);
}).catch(error => {
console.error(error);
throw error;
});
}
解决方案
查看Dataflow Cloud Composer 示例。它描述了如何将 Cloud Composer 与 Cloud Functions 结合使用,以在新文件到达 GCS 存储桶时触发基于 Python 的 Dataflow 作业。
推荐阅读
- android - 使用 Firebase Auth 和 ChangeNotifierProvider 进行 Flutter 路由
- javascript - 使用 Express 构建第一个平均堆栈应用程序时遇到问题 - Nodemon
- docker - 同一网络中的 Docker 容器不通信
- fortran - 使用 Fortran 和 mpi 并行读/写 NetCDF 文件
- python - 当与 one-hot 编码向量一起使用时,如何解释 Keras 中嵌入层的输出形状?
- php - 使用 response() 在 Laravel 中获取错误
- python - 错误:传递给参数“输入”的值的 DataType int64 不在允许值列表中:float16、bfloat16、float32、float64?
- google-analytics - 哪些 UTM 参数适用于多站点设置?
- c# - 在 asp.net core 3 中模型验证后错误消息不可见
- mysql - MySQL 两个节点之间的最短路径