摘要：如果兩個(gè)都掛掉了，那就要做相對(duì)麻煩的操作了，而且相對(duì)對(duì)數(shù)據(jù)不安全以下是參考案例異常停止后無(wú)法正常啟動(dòng)

博客原文:hackershell

前段時(shí)間，standby的NN掛掉了，并且怎么起也起不來(lái)，如下日志:

2016-01-03 14:04:19,293 FATAL org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Unknown error encountered while tailing edits. Shutting down standby NN.
java.io.IOException: Failed to apply edit log operation ReassignLeaseOp [leaseHolder=DFSClient_NONMAPREDUCE_854707399_1, path=/tmp/jrdw/kafka2hdfs/log_mobile_gateway-21-1443245603647--6536501137915724876, newHolde
r=HDFS_NameNode, opCode=OP_REASSIGN_LEASE, txid=20790808505]: error File is not under construction: /tmp/jrdw/kafka2hdfs/log_mobile_gateway-21-1443245603647--6536501137915724876
       at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
       at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:205)
       at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:112)
       at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:771)
       at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer.doTailEdits(EditLogTailer.java:227)
       at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.doWork(EditLogTailer.java:321)
       at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.access$200(EditLogTailer.java:279)
       at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread$1.run(EditLogTailer.java:296)
       at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:456)
       at org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer$EditLogTailerThread.run(EditLogTailer.java:292)

剛開(kāi)始懷疑是不是editlog的下載有問(wèn)題，后來(lái)發(fā)現(xiàn)editlog是可以解析出來(lái)的，但是不排除editlog的順序存在bug

我們采取的方案是：

因?yàn)槊看螁?dòng)都需要加載editlog，所以為了跳過(guò)此操作，我們將Active進(jìn)入安全模式，并進(jìn)行saveNameSpace將dump出來(lái)的fsimage和txid拷貝到Standby NN上，重啟就可以避免加載editlog了。

如果兩個(gè)NN都掛掉了，那就要做相對(duì)麻煩的操作了，而且相對(duì)對(duì)數(shù)據(jù)不安全

以下是參考案例：

Namenode異常停止后無(wú)法正常啟動(dòng)