python - 如何使用 Python 通过 Cloud Dataflow 将 CSV 文件导入 Cloud Bigtable?
问题描述
描述我在做什么的最简单方法基本上是遵循本教程:Import a CSV file into a Cloud Bigtable table,但在他们开始 Dataflow 作业的部分中,他们使用 Java:
mvn package exec:exec \
-DCsvImport \
-Dbigtable.projectID=YOUR_PROJECT_ID \
-Dbigtable.instanceID=YOUR_INSTANCE_ID \
-Dbigtable.table="YOUR_TABLE_ID" \
-DinputFile="YOUR_FILE" \
-Dheaders="YOUR_HEADERS"
有没有办法在 python 中执行此特定步骤?我能找到的最接近的apache_beam.examples.wordcount
示例是此处的示例,但最终我希望看到一些代码,我可以在其中使用 Python 将一些自定义添加到 Dataflow 作业中。
解决方案
有一个用于写入 Cloud Bigtable 的连接器,您可以将其用作导入 CSV 文件的起点。