Posted on 2015-06-05 20:05
为自己代言 阅读(386)
评论(0) 编辑 收藏
1：环境是redhat 5.10 x86_64们机器 hadoop2.4.1 是apache版本
遇见的问题：
所以服务都已经启动成功：还出现这样错误！
出错信息： [key@master hadoop-2.2.0]$ hdfs dfs -ls /
-ls: java.net.UnknownHostException: mycluster
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]
命令不可用
就是由于自己大意，把hdfs-site.xml 中
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
mycluster 这个名称，要在这个文件中其它属性配置统一，而我的 有一个property 配置差了成有了 myCluster了。
问题2：
所以服务都启动成功了 用命令上传 hadoop fs -put zzz.txt / 数据时候出现下面错误
[hadoop@Master ~]$ hadoop fs -put /opt/file*.txt /home/input
14/08/18 15:18:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:387)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59582)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)
这个错误namenode 和 datanode 存放hdfs 数据的版本号不一样了，可能会是我格式了namenode ，datanode没有同步，异致clusterId 不一样，修改namenode 和datanode clusterId一致(查看VERSION这个文件中的数据)