snowflake-cloud-data-platform - 是否可以选择直接将数据移动到雪花而不通过 S3 和其他云存储
问题描述
我们选择 Snowflake 作为我们的 DWH,我们希望连接不同的数据源,例如(Salesforce、Hubspot 和 Zendesk)。
有没有办法从这些源中提取数据并将它们存储在暂存模式中的雪花中,而不必将数据存储在像 S3 这样的云存储中,然后将数据读入雪花?
提前谢谢了。
解决方案
您可以使用 Snowflake 提供的任何连接器(odbc、jdbc、python 等)以及可以使用这些连接器之一的任何工具。但是,与针对批量加载优化的 COPY INTO 方法相比,它们的性能不会很好。
有一些 ETL 工具,例如 Matillion,它们使用阶段/复制到方法,但在后台执行,因此看起来您正在直接加载到雪花中。
推荐阅读
- python - 当第一个号码没有使用 AWS connect start_outbound_voice_contact API 响应时,如何拨打另一个号码?
- php - 尝试将视频及其详细信息插入 php 中的 mysql 数据库时出现错误代码 1
- facebook - Facebook 分享按钮 WCAG 问题
- c# - 如何在.net核心中集成paypal api
- android - 如何显示我的 android 选项?
- python - “为什么 input() 将定义的变量从整数更改为字符串类型?”
- java - 如何创建只能应用于测试方法而不是整个测试类的 JUnit5 自定义扩展
- rust - 如何在 Rust 的特定内存区域中声明静态变量?
- python - Python如何将assert与进行修改的函数一起使用?
- scope - 我们的变量是动态的吗?