rstudio - 如何在由 slurm 管理的自动缩放集群上设置 Rstudio、sparklyR？
问题描述
我有一个由 slurm 管理的 aws HPC 自动缩放集群，我可以使用 sbatch 提交作业，但是我想在这个集群上使用 spraklyr，以便 slurm 根据 R 脚本中 sparklyr 代码的工作负载增加集群大小。这可能吗？
解决方案
嗨，阿米尔，你在这里使用 slurm 是有原因的吗？Sparklyr 与 Apache Spark 有更好的集成，建议在 spark 集群上运行它。您可以按照此博客了解使用 Amazon EMR 进行设置的步骤，这是一项在 AWS 上运行 Spark 集群的服务 - https://aws.amazon.com/blogs/big-data/running-sparklyr-rstudios-r - 接口到 Spark-on-amazon-emr/
推荐阅读
- django - 按不同组查询 Django 模型并遍历这些子集查询的最有效方法
- c++ - C++ 二进制 '+'; 未找到采用“对”类型的全局运算符
- binary - 负定点数表示
- r - 缺少 x 没有默认值。在 R 中的函数内调用函数
- python - 尝试使用循环打印列表中的每个项目，然后删除项目 Python
- c++ - 如何将函数的返回结果添加到也在用 C++ 编写的文件中？
- javascript - 为每个新连接自动将参数更改为 iframe 中的 URL
- django - Django-在密码重置电子邮件中插入图像
- windows - 如何通过 git update-index 在 Git 中创建可执行的 Powershell 脚本
- java - 使用 jrebel 和 kumuluz