etl - 记录 ETL 作业的方法

Question

我得到的问题可能不太笼统，因此对于 StackOverflow 来说不是最好的——对此感到抱歉。但是，我正在搜索答案，但没有找到任何答案。

在我们的 DWH 项目（AWS S3 + Redshift + informatica）中，我们有数百个 ETL 作业。每个 ETL 作业均由分析师设计并由 ETL 开发人员开发。分析师正在创建描述高级业务功能的 Excel 文档。我们感觉我们已经到了基于 Excel 的文档开始引起问题的地步。我们需要能够让我们：

• 在字段级转换上定义 ETL，但不需要严格的开发（我们毕竟需要文档工具而不是并行 ETL 开发环境）
• 以图形方式呈现元数据
• 允许对元数据进行版本控制和重要更改（例如，分析师对 ETL 文档中的一个转换进行修改并传递给 ETL 开发人员）
• 跨技术血统——点击数据集市中的字段（甚至在 BI 工具中测量）并呈现所有依赖关系和转换直到源系统的能力
• 影响分析 - 单击源字段并查看数据集市中将受到影响的每个字段的能力

在我看来，ERWIN Data Intelligence 可以胜任这项工作。我在想市场上是否有我们应该考虑的类似产品？

标签： etldocumentationdata-warehouseerwin