java - 集群中的最大同时 Java 套接字连接数是多少？

Question

我们在每秒 1 千兆比特带宽的集群中工作，我们使用 java 套接字在集群的节点之间执行一些数据传输，例如集群中的广播和 shuffle（集群的节点交换数据），在我们可能有的瞬间多个同时传输。这是一个插图

集群中打开套接字连接的最大数量是多少，以最大化数据处理，我们如何管理它们？

标签： javamultithreadingcluster-computingbroadcastserversocket

Answer 1

集群中打开的套接字连接的最大数量是多少以最大化数据处理？

计算出最佳套接字数量将取决于大量因素，其中许多因素您可能无法预测……更不用说量化了。

我们如何管理它们？

一种方法是在 master 和每个 worker 之间创建一个套接字，并通过套接字多路传输数据。另一个可能是拥有固定大小或可变大小的套接字池。

---

我认为你最好的方法是尝试不同的方法，并制定一些基准来让你决定哪些管理策略最有效，并对其进行调整。

我也认为你不太可能在 StackOverflow 上得到这类问题的明确答案。这似乎是一个研究问题，而不是一个简单的编程/软件工程问题。您可能会在数学或计算机科学 StackExchange 站点上得到答案。但是，基于数学或 CS 理论的解决方案将需要对问题进行精确（即数学！）公式化。比您的图表更精确/严格的东西。