r - 错误:从 sparklyr 使用 copy_to 时,C 堆栈使用 133776899 太接近限制
问题描述
我正在尝试将 a 转换data.frame
为 a Spark DataFrame
:
library(sparklyr)
conf <- list()
conf$`sparklyr.cores.local` <- 4
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$spark.memory.fraction <- 0.9
sc <- spark_connect(master = "local",
config = conf)
load("./data/dfm_training.RData")
load("./data/training.RData")
df <- training[,c(1,2,3,18)]
df$TextLength <- nchar(df$txt)
df <- df[df$TextLength > 0,]
df.tokens.df <- cbind(nchar = df$TextLength, label = df$training2_CFT,
convert(dfm_training, to = "data.frame"))
## to spark
sdf <- copy_to(sc, df.tokens.df)
但是,我收到以下错误:
Error: C stack usage 133776899 is too close to the limit
我尝试过切换内核数量和使用的内存数量,但没有任何变化。
解决方案
推荐阅读
- flutter - 无法访问 JSON 数据
- pytorch - 需要帮助转换 pytorch 张量
- javascript - 无法通过 selenium javascript 找到 react-select 下拉元素
- mmenu - 带有文本输入字段的 mmenu 在单击时失去对 Android 设备的关注,导致菜单关闭
- node.js - 将 github 页面上托管的网站映射到 /etc/hosts 后,无法将其重定向到 localhost
- javascript - 网站上的问题..注册仍然出现在登录表单上
- windows-10 - 你如何为 MS Teams 制定 Windows Defender 防火墙规则?
- javascript - 过滤函数在reactjs中返回空数组
- sql-server - 死锁 - 从死锁报告中查找完整的 SQL 语句
- laravel - Laravel 获取模型可用座位