mysql - 用于数据库迁移的 Nifi

如果 nifi 所做的只是一遍又一遍地发送相同的数据，为什么它会成为数据库迁移的一个很好的用例？（我试图从数据库中提取数据并将它们放入一个 JSON 文件中，我看到多个相同的条目元组。）那不会浪费计算资源吗？

如果我只想迁移数据库一次，有时只更新更改的列，那么 nifi 仍然是一个很好的工具吗？

标签： mysqldatabasebigdataapache-nifi

这完全取决于您要从哪个数据库迁移到哪个环境。它是您想要迁移到 Hadoop 中的大型企业 Oracle 数据库吗？查看 Sqoop https://sqoop.apache.org/。我会推荐 Sqoop 将大型数据库一次性导入 Hadoop。

您也可以使用 NiFi 进行导入，使用 ExecuteSQL、QueryDatabaseTable、GenerateTableFetch 等处理器......它们都与 JDBC 连接器一起使用，因此取决于您的数据库是否支持此功能，您也可以选择此功能。

如果你想获得增量更改，你可以使用 QueryDatabaseTable 处理器并使用它的最大值列属性，Matt Burgess 有一篇文章解释了如何在https://community.hortonworks.com/articles/ 51902/incremental-fetch-in-nifi-with-querydatabasetable.html。