json - 从 JSON 文件读取逻辑并使用 spark scala 应用特定逻辑的最佳方法

Question

JSON我有一个通过读取文件创建的初始数据框。现在我有config如下所示：

{
"sourceField":"id",
"transformLogic":"where id>=10"
"targetField":"patientId"
}  

所以，我所做的就是阅读这个配置文件，获取“ transformLogic”字段的第一个值，然后使用 spark SQL 生成查询并针对初始 JSON 数据帧执行它。但是，我对此并不满意，因为字符串transformLogic是由我硬编码的，它应该是动态的。它类似于读取配置文件，针对 应用特定逻辑sourceField，它应该反映在转换后的数据帧的目标字段中。我怎样才能使它动态地使用sourceField和targetField

我需要一些建议来实施这种方法。我可以处理编码部分。我希望我足够清楚来解释我的问题。

标签： jsonapache-sparkhadooptransform