hadoop - 具有活动备用名称节点的hadoop集群+编辑日志中的间隙
问题描述
我们有ambari集群,HDP版本2.6.5
集群包括两个名称节点的管理(一个是活动的,一个是备用的)
和 65 台数据节点机器
我们对未启动的备用名称节点有问题,从名称节点日志中我们可以看到以下内容
2021-01-01 15:19:43,269 ERROR namenode.NameNode (NameNode.java:main(1783)) - Failed to start namenode.
java.io.IOException: There appears to be a gap in the edit log. We expected txid 90247527115, but got txid 90247903412.
at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:215)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:143)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:838)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:693)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:289)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1073)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:723)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:697)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:761)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1001)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:985)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1710)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1778)
目前活动的名称节点已启动,但备用名称节点已关闭
关于
java.io.IOException: There appears to be a gap in the edit log. We expected txid 90247527115, but got txid 90247903412.
解决此问题的首选解决方案是什么?
解决方案
推荐阅读
- sql - COUNT 来自多列中的 DISTINCT 值
- typescript - 将 --isolatedModules 与 TS 3.2.2 一起使用时无法重新导出类型
- c - 如何在其中定义几个字符串的结构?
- android - 改装电话上的空响应体
- asp.net-core-2.0 - Identity Server 4 - 验证在 iframe 中使用部分应用程序的客户端
- c# - 如何仅检测一次 Unity 3D 碰撞?
- javascript - 如何查看网址是否仅限移动设备
- javascript - js Chrome 扩展的 js 事件(在每个选项卡上工作都加载了一个页面)
- vb.net - VB.Net - 数据不显示在数据库网格中,也不更新 ms access 数据库
- java - spring.transaction.default-timeout 属性在 Spring boot 中不起作用