r - 在 R 中合并大量数据文件（用于搜索）

Question

我正在工作R 3.5并且需要创建一个包含大约 2 亿行的庞大数据库，然后在该数据库中搜索一个包含大约 1500 万行的文件以找到参考值（然后 cbind 两个文件：输入文件 + 匹配文件）。

对于较小的数据库文件（约 1000 万行），我使用该merge()函数将输入文件与数据库文件合并。但是，现在这几乎是不可能的。

我尝试rsqlite了包装，虽然它确实有效，但我不喜欢它。

优点

• 参考数据文件一开始没有加载
• 它不需要任何安装（而不是rsqlite包）

缺点

• 它非常慢（即使在表上创建索引之后）
• 数据库文件很大（大约 10Gb）
• 绑定输入文件和找到的项目并不简单（行号可能不同）

我不想使用 SQL server 或 MySQL ，因为它们都需要安装和配置，并不适合所有系统和服务器。

在大数据匹配方面有什么建议或类似的经验吗？

标签： rdatabasebigdatarsqlite