时间戳

首页 > 解决方案 > 有没有办法将 R 对象传输到 Linux 上的单独 R 会话？

r - 有没有办法将 R 对象传输到 Linux 上的单独 R 会话？

问题描述

我有一个程序可以重复加载以 RRds格式存储的大型数据集。这是一个具有所有显着特征的愚蠢示例：

# make and save the data
big_data <- matrix(rnorm(1e6^2), 1e6)
saveRDS(big_data, file = "big_data.Rds")

# write a program that uses the data
big_data <- readRDS("big_data.Rds")
BIGGER_data <- big_data+rnorm(1)
print("hooray!")
# save this in a text file called `my_program.R`

# run this program a bunch
for (i = 1:1000){
    system("Rscript my_program.R")
}

瓶颈是加载数据。但是，如果我在某个地方有一个单独的进程将数据保存在内存中呢？

也许是这样的：

# write a program to hold the data in memory
big_data <- readRDS("big_data.Rds")
# save this as `holder.R`  open a terminal and do
Rscript holder.R

现在有一个进程在某个地方运行，我的数据在内存中。如何从不同的 R 会话中获取它？（我假设这会比加载它更快——但这是正确的吗？）

也许是这样的：

# write another program:
big_data <- get_big_data_from_holder()
BIGGER_data <- big_data+1
print("yahoo!")
# save this as `my_improved_program.R`

# now do the following:
for (i = 1:1000){
    system("Rscript my_improved_program.R")
}

所以我想我的问题是函数get_big_data_from_holder()会是什么样子？是否有可能做到这一点？实际的？

背景故事：我正在尝试解决 R 与 keras/tensorflow 的接口中似乎存在内存泄漏的问题，我已经在此处进行了描述。解决方法是让操作系统清理 TF 会话留下的所有垃圾，这样我就可以一个接一个地运行 TF 会话，而不会让我的计算机慢到爬行。

编辑：也许我可以通过clone()系统调用来做到这一点？从概念上讲，我可以想象我会克隆正在运行的进程holder，然后运行程序中依赖于加载的数据的所有命令。但我不知道这是怎么做到的。

标签： rlinuxunixprocessclone

解决方案

您还可以通过关闭压缩来提高保存和加载数据的性能：

saveRDS(..., compress = FALSE)

推荐阅读