BlogJava-Frank's Space-随笔分类-Hadoop Map/Reduce

expected: file:///

问题描述：
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码：

1 Path clear_path = new Path(args[1]);
2 FileSystem fs = FileSystem.get(conf);
3 fs.delete(clear_path);

通过试验发现，在分布式hadoop集群上运行这段代码是不会出现错误的，然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。

解决方法1：
将上述代码稍作修改，利用clear_path来获取FileSystem，改为如下代码片段：

Path clear_path = new Path(args[1]);
FileSystem fs = clear_path.getFileSystem(conf);
fs.delete(clear_path);

这样运行起来就不会报错。

解决方案2：
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下，这样就不会再报这种错误。