performance - hadoop / YARN 如何判断一个节点速度很慢，以及它如何处理上面的任务？

Question

我相信我了解 HADOOP 如何知道节点已崩溃。如果集群管理器在预定时间内没有收到来自其中一个从属设备的心跳，那么它认为它已经死了。

集群管理器如何确定节点是否慢？一旦它确定节点很慢，它会如何处理该节点上的任务？

谢谢。

标签： performancehadoopnodes

Answer 1

回答我自己的问题。我正在使用 Tom White 的以下参考资料“ Hadoop：权威指南”。

哈罗德是正确的。根据本书，应用程序启动的任务会定期向应用程序主控报告状态。如果应用程序主控发现某个任务没有报告进度，它会假定该任务处于挂起状态并自动终止相应的 JVM。默认超时时间为 10 分钟。

什么构成进步是书中也包含的单独讨论。