首页 > 解决方案 > 是否可以使用雪花分​​割超过 8 GB 的较大文件?

问题描述

我有一个超过 8 GB 的文件。想将此文件加载到雪花。我浏览了雪花文档并找到了最佳实践,即保持文件大小为 10 MB 到 100 MB 以获得最佳加载性能。

https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.html

是否可以将文件拆分为雪花本身?所以我将 8 GB 文件上传到 Azure Blob,然后使用雪花将文件拆分为多个,然后加载到表中..?

标签: snowflake-cloud-data-platform

解决方案


不,在加载文件之前无法使用 Snowflake 拆分文件。
Snowflake 仅在将表卸载到云存储时才能拆分为多个文件。

但我猜 Azure 中存在一些可能性:
Azure Batch Job How to split large file into small files


推荐阅读