时间戳

首页 > 解决方案 > YARN 和 NameNode 什么时候交互

hadoop - YARN 和 NameNode 什么时候交互

问题描述

提交作业时，YARN 和 NameNode 什么时候交互？提交作业时，它会发送给谁？有人可以解释端到端流程 - hadoop 生态系统是如何工作的吗？

谢谢！

标签： hadoophdfshadoop-yarnnamenode

解决方案

Namenode：存储数据节点中存储的所有数据的元数据，并监控数据节点的健康状况。基本上，它是一个主从架构。

YARN：它代表又一个资源谈判者。纱线主要有两种成分。

1.> 调度

2.> 应用管理器

Yarn 还包含master，即Resource Manager 和Slave，即Node Manager。

出于调度目的，有 3 个调度程序：

1.> 先进先出 2.> 容量 3.> 公平共享

在节点管理器下有一个由资源管理器分配的名为Application Master 的组件。

一个应用程序主机分配给一个应用程序。

作业由客户端直接提交，Resource Manager 将作业分配给 Application Master，Node manager 监控 Application Master 的活跃度

现在，只要有作业进来，资源管理器就会创建一个作业 ID 并为该作业分配一个 Application Master。资源管理器与 Namenode 联系以检索有关必须执行任务的所需数据的元数据的信息。Resource Manager 接收到的信息然后传递给 Application Master。

这是 Yarn 与 Namenode 一起工作的基本概述。也可以从YARN详细阅读

此外，NameNode 交互只是在 YARN 中运行的与 NameNode 对话的 Hadoop 应用程序中。并非所有 YARN 应用程序都需要与 HDFS 通信

推荐阅读