apache-nifi - 用于数据屏蔽的 Apache Nifi

Question

我们使用 Nifi 作为我们的主要数据摄取引擎。Nifi 用于从数据库、blob 存储等多个来源获取数据，并将所有数据推送到 kafka（使用 avro 作为序列化格式）。现在，要求之一是屏蔽输入数据中的特定字段（PII）。

1. nifi 是一个很好的工具吗？
2. 它是否有任何处理器来支持数据屏蔽/混淆？

标签： apache-nifidata-masking

Answer 1

Nifi 带有EncryptContentandCryptographicHashContent和CryptographicHashAttribute处理器，可用于分别加密/散列数据。

我会先调查一下。

另外还ReplaceText可以做简单的遮罩。ExecuteScript处理器可以执行自定义屏蔽，或者结合使用UpdateRecord可以ScriptedRecordSetWriter轻松屏蔽记录中的某些字段。