etl - Apache NiFi 是否适合此用例？

Question

请帮我选择合适的工具。我有以下任务：有 N 个数据源（N < 20），它可以是关系数据库（MySQL、PostgreSQL）或 REST API。我需要将 N 个数据源中的所有数据加载到单个关系数据库中（仅一次）。所以最终的目标似乎是一个简单的 ETL：

• 从数据源中提取数据
• 转换数据（映射数据以适应目标数据库模式）
• 加载到数据库

（注意：每个源数据库包含 10-15 个耦合表，包含 100 000 - 1 000 000 行）

我目前正在尝试寻找合适的工具，我相信 Apache NiFi 正是我所需要的：喜欢通过友好的 UI 配置所有内容而不是编码和重新发明轮子的想法。

几个问题：

• Apache NiFi 看起来是否适合我的任务，还是有点矫枉过正？
• 配置 Apache NiFi 与使用我熟悉的某种编程语言（例如 Python）编写自定义脚本相比，我对配置 Apache NiFi 有什么好处吗？

谢谢！

标签： etlapache-nifidata-migration

Answer 1

Apache NiFi 可能是这种情况下的正确答案，但可以归结为细节。

您拥有许多不同数据源的情况是 NiFi 的常见部署模式，其中用户将执行以下分层方法：

1. 从各自的来源引入数据，
2. 注释/提取一条数据的关键属性/属性
3. 将数据转换为规范表示，
4. 路由到适当的下游消费者，
5. 通过处理器将其传递到目标存储/系统/服务中

脚本是有多少人最初倾向于解决这个问题，但可能会导致这些一次性过程的不规则集合，这些过程很难作为一个整体来考虑，也很难解释它们之间的交互。对于将不断发展并可能带来额外源/汇的长期运行数据流，NiFi 是一个很好的产品，可以将这条数据路径纳入一个统一的视图。UI 进一步使用户能够在这些“规范”不可避免地发生变化时进行更改，并且比更改一个或多个脚本/应用程序更容易做出反应。

鉴于提到“简单”ETL 以及您使用数据库以外的其他来源的事实，这似乎非常适合 NiFi 的预期用途范围。NiFi 不太适合一些更复杂的 ETL 操作，也没有为这些类型的操作定制的 UI。