amazon-web-services - ADF(AzureDataFactory) DataFlow 的替代方案
问题描述
什么可以替代 ADF 数据流。
数据流是 Azure 数据工厂 (ADF) 的一项新功能,它允许用户开发可作为 ADF 管道中的活动执行的图形数据转换逻辑。
AWS 或 GCP 中是否有类似的工具?
解决方案
GCP 和 AWS 中都有与 Azure 数据工厂类似的工具,它们提供了一种无需任何编码即可大规模转换数据的方法。您可以在设计器中通过构建一系列转换来设计数据转换作业。
谷歌云平台:
- Google Cloud Data Fusion - 云原生数据集成服务,可帮助构建和管理 ETL/ELT 数据管道。具有图形界面和广泛的预配置连接器和转换的开源库等。
亚马逊网络服务:
- AWS Data Pipeline - 专注于数据传输。支持使用 SQL 命令进行预加载转换。您可以通过控制台以图形方式创建管道,使用 AWS 命令行界面 (CLI) 和 JSON 格式的管道定义文件,或通过 API 调用以编程方式创建管道。
推荐阅读
- ios - 如何在 Swift 5.1 中创建圆形计算器按钮?
- node.js - 如何从快速节点js中的查询中获取键和值
- c# - How to constantly update stamina system
- authentication - 限制可以登录网站的用户设备的最佳方法是什么
- amazon-web-services - 如何生成可访问的文件 url 到 s3 存储桶?
- c++ - CMake将Qt运行时库复制到可执行输出路径
- apache-kafka - io.smallrye.config.ConfigValidationException:配置验证失败
- php - 程序功能发生的相反结果
- c++ - GLFW - 如何将变量输入消息框中,以免它们显示中文
- aws-sdk - 在执行 restoreDBInstanceFromDBSnapshot AWS SDK 调用时指定用户和密码