HDFS是一个被设计用来运行在廉价的硬件上分布式文件系统。与已有文件系统相比有很多相似性。然而，区别也是很显著的。HDFS是高度容错的并被设计和部署在低成本的硬件机器上。HDFS放宽了一些POSIX的需求来使得流方式访问文件系统数据。HDFS一开始为Apache Nutch WEB搜索项目构建了基础架构。HDFS是Hadoop核心项目的一部分。