Apache Storm:分布式实时计算系统

Apache Storm是一个免费开源的分布式实时计算系统,具有简单易用、快速、可扩展、容错等优点。集成了为人熟知的队列和数据库技术。一个Storm的拓扑结构可以以任何复杂的方式处理数据流、在每个处理阶段按需重新分配数据流。Storm有很多适用场景:实时分析、在线机器学习、持续计算、分布式RPC、ETL等等。

apache-storm

主要功能

  • 简单的API:在Storm中只有三个抽象概念:spout、bolt和topology。
    • spout是计算中数据流的源,spout一般从Kestrel、RabbitMQ、Kafka等队列中取数据,也可以自己生成数据流或者从API中读取数据流。
    • bolt处理输入流并产出输出流。
    • topology是spout和bolt的网络,网中每条边代表一个bolt输入一个spout或者输入其他bolt的输出流。
  • 可扩展性:Storm的topology本质上是在集群中并行运行的。但是可以通过调整他们的并行度进行缩放。
  • 容错性:Storm的容错性:Storm会自动重启停掉的worker。当一个节点宕机,worker会自动在其他节点上重启。
  • 数据处理保证:Storm的基本抽象提供一个“至少一次”的处理保证。
  • 使用任何开发语言:Storm被设计成支持任何编程语言。
  • 易于操作和部署:Storm集群易于部署,只需少量的设置就可以运行起来。
  • 免费开源:Storm是Apache License, Version 2.0下的免费开源项目。Storm有一个很大的并在不断发展的库生态系统。

开发资源

官方网站:http://storm.apache.org
开源地址:https://github.com/apache/storm

打赏支持我整理更多优质资源,谢谢!

打赏编辑

打赏支持我整理更多优质资源,谢谢!

任选一种支付方式

1 2 收藏

资源整理者简介:刘立华

java开发,技术爱好者,乐于助人。 个人主页 · 贡献了32个资源 · 1 ·  


直接登录

推荐关注

按分类快速查找

关于资源导航
  • 伯乐在线资源导航收录优秀的工具资源。内容覆盖开发、设计、产品和管理等IT互联网行业相关的领域。目前已经收录 1439 项工具资源。
    推送伯乐头条热点内容微信号:jobbole 分享干货的技术类微信号:iProgrammer