parquet - 从存储在 azure data Lake gen2 中的 parquet 格式文件中读取架构信息

Question

我有一个 parquet 格式表存储在 azure data Lake gen2 中，该表直接连接到 azure synapse 中的外部表。我正在尝试用 sql 语言制定一个逻辑，它将读取该 parquet 文件表的模式并将其动态粘贴到外部表列名上。

如果您对此有任何想法/逻辑，请告诉我。

标签： parquetazure-synapseazure-data-lake-gen2

Answer 1

使用 Synapse Studio 的 Data Lake 探索功能，您现在可以使用 Synapse SQL 池创建和查询外部表，只需右键单击文件即可。仅 Parquet 文件支持从 ADLS Gen2 存储帐户创建外部表的一键手势。

我使用示例镶木地板文件重现了要求。根据需要，文件存储在与 Synapse Workspace 链接的 Data Lake Lake Gen2 中。

从“数据”面板中，选择要从中创建外部表的文件：

将打开一个对话窗口。选择专用 SQL 池或无服务器 SQL 池，为表命名并选择打开脚本：

SQL 脚本是根据文件推断架构自动生成的。该脚本将从 parquet 文件中读取列名。您可以编辑列名并运行脚本。该脚本将自动运行 Select Top 100 *.: