时间戳

首页 > 解决方案 > 请求高性能集群计算框架

cluster-computing - 请求高性能集群计算框架

问题描述

我想构建一个集群以获得高性能并用于志愿计算的情况。我正在寻找一些志愿计算平台，例如 BOINC L、Beowulf 集群。我对 Apache Hadoop、Spark 集群有点熟悉。其中一些集群平台必须使用 MPI 和其他并行处理库。但是，我没有任何并行编程经验。此外，我负担不起为集群编写并行程序，因为我想在我的集群上进行网络模拟、图像处理、编程测试等。因此，我正在寻找一个可以运行分布在节点之间的任何应用程序的集群框架。我发现 openMosix 集群框架将适合我的要求，但我发现它停止了集群开发。所以，谨请各位前辈提点建议，指导我在执行任何应用程序时，哪种集群框架适合提高处理能力。太感谢了。

标签： cluster-computingdistributed-computinggrid-computing

解决方案

（披露：我是 BOINC 开发人员之一，我还管理着几个 BOINC 项目）

只要您的应用程序是可并行化的（例如，您可以拆分数据集或修改应用程序的命令行参数以拆分搜索空间），您就可以使用多个简单的选项。如果您的节点运行 Linux 并且您可以通过 SSH 连接到它们，那么像GNU Parallel这样的简单工具可能是合适的。

BOINC 通常更适合志愿计算，聚合异构资源。它有一点学习曲线，并且非常关注安全性（例如，平台上运行的所有代码都必须签名，从而使“任何”应用程序的部署变得复杂）。如果您正在查看真正的集群式使用，您将在其中运行数十个不同的应用程序，BOINC 可能不适合您（请注意，存在提交应用程序二进制文件作为工作的一部分的方法，但这并非易事）。

如果你决定尝试 BOINC，有一个有点旧的虚拟机预装了 BOINC 服务器，或者只是从 Github 获取最新版本的代码。

推荐阅读