Big Data Road

Storm简介

Storm简介
Storm是一个分布式的、容错的实时计算系统,可以方便地在一个计算机集群中编写与扩展复杂的实时计算。在海量领域里,Storm用于实时数据的处理,Hadoop用于批数据的处理,两者可以说是绝代双雄!Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。
Storm的优点
1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
2. 服务化,一个服务框架,支持热部署,即时上线或下线App.
3. 可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
4. 容错性。Storm会管理工作进程和节点的故障。
5. 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
6. 可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。
7. 快速。系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列。
8. 本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。
有优点,必定有缺点。不过相对来说,我觉得这些问题都不大
1.
目前的开源版本中只是单节点Nimbus(我们可以在生产环境实现一个双nimbus的布局)。
2. Clojure
是一个在JVM平台运行的动态函数式编程语言,优势在于流程计算,Storm的部分核心内容由Clojure编写,虽然性能上提高不少但同时也提升了维护成本--学学Clojure也很不错,只要你融入里面。

Storm架构

Storm集群由一个主节点和多个工作节点组成,分布式的架构大多如此,没什么好说的。主节点运行了一个名为“Nimbus”的守护进程,用于分配代码、布置任务及故障检测。每个工作节点都运行了一个名为“Supervisor”的守护进程,用于监听工作,开始并终止工作进程。NimbusSupervisor都能快速失败,而且是无状态的,这样十分健壮,两者的协调当然是由Zookeeper来完成的,ZooKeeper用于管理集群中的不同组件,ZeroMQ是内部消息系统,JZMQZeroMQMQJava Binding

posted on 2012-01-14 17:08 徐红星 阅读(398) 评论(0)  编辑  收藏 所属分类: Storm


只有注册用户登录后才能发表评论。


网站导航:
 

My Links

Blog Stats

留言簿

随笔分类

文章分类

文章档案

搜索

最新评论