时间戳

首页 > 解决方案 > 如何从 AWS S3 检索数据到 SQL 服务器

sql - 如何从 AWS S3 检索数据到 SQL 服务器

问题描述

想知道我是否可以得到一些帮助。我们的 python 开发人员已经安排了一个每天从网络上抓取一些文件的过程。数据将位于 AWS S3 中。现在我正在尝试将这些数据导入到我们的 SQL 服务器数据库中。什么是最好的方法来做到这一点。我们可以使用 SQL 脚本从 AWS S3 查询数据吗？还是我需要从 S3 以 CSV 格式下载文件，然后使用 SSIS 包处理这些文件？我宁愿只在可能的情况下查询 AWS S3。

谢谢并恭祝安康

标签： sqlsql-serveramazon-web-servicesamazon-s3ssis

解决方案

您可以使用 pentaho 数据集成直接从 AWS s3 读取 csv 文件。通过使用 pentaho，您可以创建将数据推送到 sql server 的作业。在 pentaho DI 中转到

  1. s3 csv输入如下图 在此处输入图像描述

  2. 然后您可以选择所需的字段

  3. 然后选择表输出对象并与您的 sql 服务器创建一个连接并将输入字段映射到表列 在此处输入图像描述

推荐阅读