时间戳

首页 > 解决方案 > 如何有效地将数据从 R 上传到 SQL 数据库（雪花）？

python - 如何有效地将数据从 R 上传到 SQL 数据库（雪花）？

问题描述

我想创建一个函数，以尽可能有效地将潜在的大数据帧（1M + 行）从 R 上传到 Snowflake。下面的代码是我目前的方法，我将数据帧分成 100 条记录的块，并通过 dbSendUpdate 循环遍历 100 行的迭代，加上其余的。对于大型数据框，这通常需要很长时间，有没有更有效的方法可以代替？

upload_func <- function (dataframe) {
for (i in 0:(nrow(dataframe)/100 - (nrow(dataframe)/100)%%1)) {
  if (100*(i + 1) <= nrow(dataframe)) {

    b <- 100*i + 1
    e <- 100*(i + 1)

    values <- paste0(apply(dataframe[b:e,], 1, function(x) paste0("('", paste0(x, collapse = "', '"), "')")), collapse = ", ")

    dbSendUpdate(connection, paste0("INSERT INTO database_table
                                  VALUES ", values, ";"))
  }

  else {
    values <- paste0(apply(dataframe[(i*100 + 1):(i*100 + nrow(dataframe)%%100), ], 1, function(x) paste0("('", paste0(x, collapse = "', '"), "')")), collapse = ", ")

    dbSendUpdate(connection, paste0("INSERT INTO database_table 
                                  VALUES ", values, ";"))
  }
}

}

标签： pythonsqlrdatabasesnowflake-cloud-data-platform

解决方案

为了获得最佳性能，不要直接从 R 插入。将数据帧写入云存储中的 csv 文件，创建指向该位置的外部阶段，然后使用COPY INTO. 这将利用并行处理来摄取数据。为了优化负载的并行操作数量，建议生成大约 100-250 MB 压缩的数据文件。

推荐阅读