google-cloud-dataflow - Cloud Dataflow 和 Dataprep 之间有什么区别

Question

Dataprep 和 Dataflow 都可用于 ETL 任务。事实上，Dataprep 似乎使用了 Dataflow 作业。这是 Dataprep 提供的工具来编写具有用户界面的数据流作业的唯一区别吗？

标签： google-cloud-dataflowgoogle-cloud-dataprep

Answer 1

dataflow 和 dataprep 都可以肯定地转换数据。主要区别在于谁在使用该技术。您的项目是否需要数据工程师等数据用户或分析师和数据科学家等业务用户进行自助数据转换？然后 dataprep 是选择。这不是编码。最终它会生成数据流作业。Cloud dataprep 提供高级转换，例如透视、反透视、聚合、时间序列、连接、联合、标准化以及通过直观的可视界面公开的数百个其他数据函数。数据需要在 CDS 或 BigQuery 中。