r - spark_apply 无法运行程序“Rscript”:在目录“C:\Users\username\AppData\Local\spark\spark-2.3.3-bin-hadoop2.7\tmp\local\spark-..\userFiles
问题描述
按照“用 R 掌握 Apache Spark”一书关于 spark_apply 的第一条说明,在 windows 下的本地集群上并使用 RGui,启动:
install.packages("sparklyr")
install.packages("pkgconfig")
spark_install("2.3")
Installing Spark 2.3.3 for Hadoop 2.7 or later.
spark_installed_versions()
library(dplyr,sparklyr)
sc <- spark_connect(master = "local", version = "2.3.3")
cars <- copy_to(sc, mtcars)
cars %>% spark_apply(~round(.x))
正在返回以下错误:
spark_apply Cannot run program “Rscript”: in directory "C:\Users\username\AppData\Local\spark\spark-2.3.3-bin-hadoop2.7\tmp\local\spark-..\userFiles-..
CreateProcess error=2, The file specified can't be found
如何正确安装 sparklyr 以及如何解决此错误?
解决方案
spark 节点在其路径中需要 Rscript 可执行文件。对于主节点,可以使用以下命令设置 Rscript 可执行文件的路径:
config <- spark_config()
config[["spark.r.command"]] <- "d:/path/to/R-3.4.2/bin/Rscript.exe"
sc <- spark_connect(master = "local", config = config)
让我们在这里找到更多关于分布式环境的解释和指南。
推荐阅读
- json - Json 到 pandas 数据框稍作修改
- java - 带有 maven 3.2.5 的错误协议版本 Java 6
- reactjs - 有没有办法定位一个在 React 中动态添加到页面的元素?
- javascript - 这个 javascript 对象解构是如何工作的?
- php - Laravel 错误:[Symfony\Component\Process\Exception\RuntimeException] 进程已收到信号“4”的信号
- reactjs - 如何在 react-native 中使用 svg 图像作为背景图像?
- google-tag-manager - Google 跟踪代码管理器变量作为 [Object object] 传递
- c++ - 文件的 ACE 数量 - 文件属性的安全选项卡中只有 9 个成员,但它从 ACL 返回 13 个 ACE
- reactjs - 如何通过react js检查mongodb现有文档中是否存在字段值?
- python - Celery:如何在不超时父任务的情况下链接长时间运行的任务?