sql - 将许多大文件从 R 复制到新的 SQL 数据库

Question

我在服务器上有 6,000 个文件，每列有 11M 行。据我了解，有3个步骤：

1. 连接到 SQL 数据库
2. 读入文件
3. 将它们写入 SQL DB

所以我想我已经连接到数据库：

sqlconnect <- DBI::dbConnect(RSQLite::SQLite(), "~/folder/portal-database-output.sqlite")
my_db_file <- "~/folder/portal-database-output.sqlite"
my_db <- src_sqlite(my_db_file, create = TRUE)

然后我需要读入每个文件，然后将其复制到 SQL DB。我正在考虑创建一个文件列表（文件夹中的所有 .Rds），然后执行创建 df 的映射或循环，复制到数据库，然后重复 x6000。我该如何编码？

我应该改为尝试批量插入吗？如果是这样，我该怎么做？

最后，我还没有决定结果应该是一个 6000 宽的表还是 6000 个表——我没有足够的 SQL 经验来确定哪个更容易。

标签： sqlrsql-serverloopsfile-copying