时间戳

首页 > 解决方案 > 如何一次将 S3 存储桶上多个 CSV 文件中的几列插入雪花表（在单个查询中）

snowflake-cloud-data-platform - 如何一次将 S3 存储桶上多个 CSV 文件中的几列插入雪花表（在单个查询中）

问题描述

我想将位于 S3 位置的多个 CSV 文件中的特定列插入到雪花表中。假设第一个 CSV 文件的第 1 列到雪花表的第 1 列，第 2 个 csv 文件的第 5 列到雪花表的第 2 列......等等......所以可以为此创建查询吗？

标签： snowflake-cloud-data-platform

解决方案

您需要提供更多信息 =)

一般来说，您将如何链接/关联两个 CSV 文件的信息？您至少需要一个可从这两个来源获得的某种密钥。

我会在步骤和 ELT 思维方式而不是 ETL 中考虑它：

  1. 将 CSV1 加载到 Table1
  2. 将 CSV2 加载到 Table2 中
  3. CREATE 或 REPLACE Table3（CommonKey 数据类型、Column1 数据类型、Column2 数据类型）
  4. INSERT INTO Table3 SELECT T1.CommonKey, Column1, Column2 FROM Table1 T1 JOIN Table2 T2 ON T1.CommonKey = T2.CommonKey

推荐阅读