r - 将 16.2Gb dist 转换为 R 中的矩阵

Question

我有一个相当简单的任务要做，但由于内存问题我无法完成它。所以我想知道是否有更有效的方法来做到这一点。我有一个大的data.frame，它像这样：

这个数据框称为 sp_df ，我计算 R 中每个点的距离。问题是由于它的尺寸很大，我不能将它融化成矩阵。这就是我被阻止的地方。

sp_df <- read.csv("Euclidean_80K_Spots.csv", h=T)
sp_dist <- dist(sp_df)
sp_dist_m <- melt(as.matrix(sp_dt), varnames = c("ID", "neig"))

dist 对象为 16.2 Gb，由于其生物学特性，我无法将数据分成小块。我只能做它的过滤器 dist 并只保留 dist < 2 但我不知道该怎么做。任何帮助将不胜感激！谢谢 ！

标签： rout-of-memorydistance