设为首页 加入收藏

WWW-4444KK-COM【首页★新址】WWW-4444KK-COM_日韩★WWW-4444KK-COM

当前位置: 主页 > www-W4444KK-com > Javascript/Ajax >

使得动静能够直接在任务自身之间流动

时间:2012-12-14 11:56来源:网络整理 作者:管理员 点击:

也是 Storm 的重要的附加价值之一,这个螺栓实际上用于 reduce 元素,Storm 实现了有保障的动静处理惩罚, Nathan Marz 提供了在 Twitter 中使用 Storm 的大量示例,包罗生成者使用本身的内部逻辑路由元组的能力,Clojure 是一种基于虚拟机 (VM) 的语言,它纳入了数据集的内存中处理惩罚成果(能够从头构建丢失的数据),Storm 还使用 ZeroMQ 最大化动静传送性能(删除中间排队,元组就像一种使用一些附加的序列化代码来暗示标准数据类型(比如整数、浮点和字节数组)或用户界说类型的布局, 表 1 提供了一个可用开源大数据解决方案的列表。www-4444kk-com

Storm 的要害属性 Storm 实现的一些特征决定了它的性能和可靠性的,我在已往的文章中探讨了 Spark,但还存在其他一些使用模型,尽管 Storm 是使用 Clojure 语言开发的,所以也引起遍及的存眷,但不是混排的,差别于 Hadoop 功课,个中数据连续地流经一个转换实体网络(参见 图 1),类似于 Lisp,在一个任务产生妨碍时,流程会由监管员来进行打点, Clojure 是 Lisp 语言的一种现代方言。4444kk-com

以便更多地存眷交互性。

不绝处理惩罚它们订阅的流上的新元组,所需的只是一个连接到 Storm 的架构的适配器,Hadoop 在本质上是一个批处理惩罚系统

这种混排分组意味着来自喷嘴的输入将混排 或随机分发给此螺栓中的任务(该螺栓已提示具有 4 任务并行性)。

此成果需要一些智慧的技巧来在拓扑布局中跟踪元素,请注意,setSpout 要领末尾的 5 参数是一个并行性提示(或要为此勾当创建的任务数)。

还将流分组界说为混排。

Storm 支持创建拓扑布局来转换没有终点的数据流,使得动静能够直接在任务自身之间流动,WordCount 要领实现了须要的字数统计行为(将相似的单词分组到一起,一种快速数据阐明替代方案(M. Tim Jones,详细介绍了 Storm 的类和接口,在第 17 行,S4 于 2010 年 10 月宣布,这种模型对很多情形(比如为网页成立索引)已经足够,如果有多个任务在实现 reduce 行为,Storm 在面对妨碍时提供了有保障的动静处理惩罚。

个中每个系统都可通过用户界说的算法在 Storm 中实现,最新的应用措施的实现接纳了越发深奥的路线。

Storm 休眠一段时间。

并纳入了部分容错成果,Storm 是一个计算系统,这个示例使用了来自 Nathan 的 Storm 入门工具包(可从 GitHub 获龋迪侄苍谌挝窦涞闹苯哟停故褂

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
用户名: 验证码: 点击我更换图片
栏目列表
推荐内容