java客戶端無法上傳文件到hdfs

CoffeX 發布于2019-08-16 18:26 / 3136人閱讀

摘要：遇到這個問題，查找網上好多資料，一般都是說和不同步導致的，或者防火墻沒開端口，或者和無法通信導致的。本地需要配置好，然后加上下面這句代碼意思大概就是偽分布式注冊到的是本機的，當遠程客戶端連接到得到的的時候，得到的是，這自然是連接不上的。

019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 58.211.111.42:63048 Call#3 Retry#0
java.io.IOException: File /a1.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3350)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:678)
    at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:491)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

學些hadoop。遇到這個問題，查找網上好多資料，一般都是說namenode和datanode不同步導致的，或者防火墻沒開50010端口，或者nameNode和datanode無法通信導致的。

其實通過命令行都是可以正常操作的，遠程調用的時候可以創建目錄和文件，但是像文件寫內容的時候，就寫不進去，報如上錯誤。

本地host需要配置好，然后加上下面這句代碼

configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");

意思大概就是偽分布式hdfs,datanode注冊到namenode的ip是本機的127.0.0.1，當遠程客戶端連接到namenode得到datanode的ip的時候，得到的是127.0.0.1，這自然是連接不上的。這里的意思大概就是強制本地java客戶端使用hostname去連接datanode,可以連接成功

防火墻端口50010也是必須打開的，因為數據節點需要使用這個端口

參考自鏈接描述

GPU云服務器云服務器 hdfs上傳文件 java上傳文件到oss java 文件上傳到服務器 java文件上傳到服務器

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/75102.html

java 文件存儲

摘要：優點開發成本低，可以配置加速網絡三分布式文件系統方案常見的分布式文件系統有，等。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。一、小應用存儲方案在開發中上傳文件存儲是個問題，而一般小應用開發會選擇服務器本地目錄做為存儲地址，通過保存文件的相對路徑來獲取文件，在應用不要求高可用的情況下這是一種普遍的方案。問題: 在每次更新Java版本時，都需要將文件目錄做一次備...

Alfred 2019-08-16 12:43 評論0 收藏0
java 文件存儲

摘要：優點開發成本低，可以配置加速網絡三分布式文件系統方案常見的分布式文件系統有，等。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。一、小應用存儲方案在開發中上傳文件存儲是個問題，而一般小應用開發會選擇服務器本地目錄做為存儲地址，通過保存文件的相對路徑來獲取文件，在應用不要求高可用的情況下這是一種普遍的方案。問題: 在每次更新Java版本時，都需要將文件目錄做一次備...

shery 2019-06-24 18:05 評論0 收藏0
HADOOP集群文件上傳下載

摘要：對上的文件進行上傳和下載是對集群的基本操作，在權威指南一書中，對文件的上傳和下載都有代碼的實例，但是對如何配置客戶端卻是沒有講得很清楚，經過長時間的搜索和調試，總結了一下，如何配置使用集群的方法，以及自己測試可用的對集群上的文件進行操作的程對HDFS上的文件進行上傳和下載是對集群的基本操作，在《HADOOP權威指南》一書中，對文件的上傳和下載都有代碼的實例，但是對如何配置HADOOP...

nevermind 2019-08-14 12:05 評論0 收藏0
Hadoop學習熱身——HDFS概念

摘要：助輔助做元數據的備份。元數據存儲在內存和磁盤中，這是因為磁盤的讀寫效率較低，而保存到內存又有斷電消失的隱患。但磁盤中的元數據并不是最新的，內存中的元數據才是實時的。將中的和復制到自身節點上并加載進內存，根據的記錄操作更改元數據信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式進入了大數據框架的學習階段，文章來自個人OneNote筆記全部...

AnthonyHan 2019-08-19 10:18 評論0 收藏0