Twitter即将开源即时数据处理工具Storm

pestwave·2011-08-05 15:46
开发者的好消息:Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的,后来被Twitter收购用于Twitter。 Twitter列举了Storm的三大类应用。


开发者的好消息:Twitter刚刚在
博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是
BackType开发的,后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用:

**信息流处理{Stream processing}*
: Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

**连续计算{Continuous computation}*
: Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

**分布式远程程序调用{Distributed RPC}*
: Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。

目前即时数据处理工具已经不少了,比如
HStreaming(使用Hadoop),开源的
S4
StreamBase,人们还需要一个开源的Storm吗?

+1
0

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

在线旅游服务是个很大的市场,深圳一家名叫在途网的创业公司就企图通过旅游计划,旅游问答加游记分享3个方面创建一个社会化的旅游者社区。 用户通过在在途网建立自己的旅游计划,可以一步步去策划自己的行程安排,收藏、发现并分享旅游信息。此外用户还可以将旅游计划以手机格式导入手机供旅游时参考。同时,该社区还具备问答功能帮助用户提问回答相关旅游问题。最后旅游归来,用户还可以在该网站制作图文混搭的旅游游记与他人分享。

2011-08-05

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业