azure - 如何在 Azure ADF 中进行行转换？

Question

我有一个已配置 IR 的本地 SQL 服务器。我想执行查询并将查询的输出转换为 JSON 对象。我的 JSON 转换很复杂，因此无法在 SQL Server 本身中完成。转换后，我需要将输出存储到 ADLSv2。如何在 ADF 中做到这一点？理想情况下，我想编写一个 Python 代码来进行行转换。有人可以建议我一些解决方案吗？

标签： azureazure-data-factory

Answer 1

如果我们想为您的源查询输出构建 JSON 模式，唯一的方法是使用数据流。但它是本地 SQL Server 和数据流不支持自托管集成运行时。我们不能使用它。

唯一的方法是在代码级别实现这一点，就像你说的编写一个 Python 代码来进行行转换。关于该方案，您可以参考此文档：Transform data by running a Python activity in Azure Databricks。

我很高兴您倾向于 spark 来实现这一目标。希望一切顺利。

HTH。