paulwong

【转载】经典漫画讲解HDFS原理

分布式文件系统比较出名的有HDFS  和 GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。


1、三个部分: 客户端、nameserver（可理解为主控和文件索引,类似linux的inode）、datanode（存放实际数据）

在这里，client的形式我所了解的有两种，通过hadoop提供的api所编写的程序可以和hdfs进行交互，另外一种就是安装了hadoop的datanode其也可以通过命令行与hdfs系统进行交互，如在datanode上上传则使用如下命令行：bin/hadoop fs -put example1 user/chunk/


2、如何写数据过程





3、读取数据过程



4、容错：第一部分：故障类型及其检测方法（nodeserver 故障，和网络故障，和脏数据问题）




5、容错第二部分：读写容错



6、容错第三部分：dataNode 失效



7、备份规则



8、结束语

posted on 2013-10-26 09:15 paulwong 阅读(611) 评论(0)  编辑  收藏 所属分类: 分布式 、HADOOP 、云计算


只有注册用户登录后才能发表评论。
网站导航: