SparkStreaming实时计算的框架和执行过程_实时计算框架 spark streaming实施方案-程序员宅基地

技术标签: SparkStreaming实时计算的框架  Spark  SparkStreaming执行过程  

SparkStreaming 为每一个数据源启动对应的Reciver(接收器),接收器以任务的形式运行在应用的Executor(执行器)进程中,从输入源接收数据 ,把数据分组为小的批次(batch),保存为RDD。然后把数据复制到另一个Executor中备份,保障容错性。

然后我们根据这框架来谈一谈SparkStreaming运行的具体流程:

1、客户端提交作业后启动Driver,通过Driver来启动Receiver,定时去启动任务的处理

2、每个作业包含多个Executor,每个Executor以线程的方式运行task,Spark Streaming至少包含一个receiver task。

3、Receiver接收数据后生成Block,并把BlockId汇报给Driver,然后备份到另外一个Executor上。

4、ReceiverTracker维护Reciver汇报的BlockId。

5、Driver定时启动JobGenerator,根据Dstream的关系生成逻辑RDD,然后创建Jobset,交给JobScheduler。

6、JobScheduler负责调度Jobset,交给DAGScheduler,DAGScheduler根据逻辑RDD,生成相应的Stages,每个stage包含一到多个task,将TaskSet提交给TaskSchedule。

7、TaskScheduler负责把task调度到Executor上,并维护task的运行状态。



版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/BigData_Mining/article/details/80743440

智能推荐

贫穷让人扭曲,阶级让人绝望|独秀日记_贫穷扭曲人性-程序员宅基地

文章浏览阅读165次。有个同学,小青,跟她小学初中都一个班。在校时,咱比较内向害羞,少跟女同学聊天,初中毕业后,我去了市里上高中,后面再到北方上大学,毕业了也是在外地工作,貌似她初中毕业后就没再上学。那会儿也没有什么手机QQ微信,自然更少联系,有20年了吧,偶尔过年有个同学聚会什么的,见过几次。大家陆续成家,过着各自的小日子,在同学的微信群,她跟我都还是像学生时代那样,不是很喜欢露面,多是潜水。后面听另外一个同学说她在市区卖房,新房二手房都卖,正好那阵子小姨子打算回老家买房安家,不想再在深圳漂了,毕竟没户口,房价太高,._贫穷扭曲人性

斐波那契数列的迭代算法和递归算法_斐波那契数列递归-程序员宅基地

文章浏览阅读8.4k次,点赞4次,收藏52次。斐波那契数列(Fibonacci sequence),又称“黄金分割数列“,因数学家莱昂纳多·斐波那契(Leonardo Fibonacci)以兔子繁殖为例子而引入,故又称为“兔子数列”,指的是这样一个数列:1、1、2、3、5、8、13、21、34、……在数学上,斐波那契数列以如下被以递推的方法定义:F(0)=0,F(1)=1, F(n)=F(n - 1)+F(n - 2)(n ≥ 2,n ∈ N*)在现代物理、准晶体结构、化学等领域,斐波纳契数列都有直接的应用,为此......_斐波那契数列递归

mvn help:effective-pom命令的作用_effective pom-程序员宅基地

文章浏览阅读3k次,点赞2次,收藏2次。无论 POM 文件中是否显示的声明,所有的 POM 均继承自一个父 POM,这个父 POM 被称为 `Super POM`。在pom的继承关系中,`子pom可以覆盖父pom中的配置`;`如果子pom没有覆盖,那么父pom中的配置将会被继承`。按照这个规则,继承关系中的所有pom叠加到一起,就`生成一个最终生效的pom`。maven实际运行的过程中,执行构建操作就是按照这个`最终的pom`运行起来的。_effective pom

Exception in thread "main" java.lang.AbstractMethodError: org.springframework.boot.context.config-程序员宅基地

文章浏览阅读1.2w次,点赞11次,收藏6次。Exception in thread “main” java.lang.AbstractMethodError: org.springframework.boot.context.config.ConfigFileApplicationListener.supportsSourceType(Ljava/lang/Class;)Z今天想学习 一下SpringBoot2的Scheduled定时任务..._exception in thread "main" java.lang.abstractmethoderror: org.springframewor

关于FSM的C语言实现与详解-程序员宅基地

文章浏览阅读599次。关于FSM的C语言实现与详解https://www.cnblogs.com/schips/p/10926795.html最近一个项目有一个需求,考量了一下决定使用状态机,实现完需求以后,不得不感慨,状态机在处理逻辑上面实现起来很有优势,也便于管理。在这里分享一下我所修改的状态机实现。改动的地方不多,参考了《C语言最优状态机规范 - 投机者 》和原作者的实现一样,状态机的跳转通过函数指针实现,将有关的状态函数实现入口放进一个数组,为了方便维护,数组的下标采取枚举型变量对应。只要枚举变量中的下标顺序和_fsm的c语言实现

让VB6/VBA 编辑器支持鼠标滚轮-程序员宅基地

文章浏览阅读337次。让VB6/VBA 编辑器支持鼠标滚轮  VB6编辑器 和 VBA编辑器 (Office 中的VB编辑器)都不支持鼠标滚动。每次想看其它页的代码时,习惯性的滚动鼠标滚轮,居然没有半点反应——最好只好把鼠标移动到滚动条上去拖……这样操作对于习惯了使用鼠标滚轮的我来说实在太痛苦了;虽然在某些系统下安装某些鼠标的驱动程序也可以滚动(比如我在Win2K在安装过罗技的鼠标驱动,可以滚动了),但是不是所有..._vba编辑器界面鼠标滚动

随便推点

WebRTC--rtc_base库移植_webrtc 中的rtc_base-程序员宅基地

文章浏览阅读9.4w次。rtc_base是webrtc的基础库,也是一个不可多得的跨平台的基础库,它提供了线程、网络、指针等多个方面的支持。 我们可以将它单独提取出来加以改造,然后使用。 rtc_base库位于src\rtc_base文件夹中。 我们将其移到单独的visual studio工程中,并使用cl.exe编译为静态库。 虽然使用gn gen --ide=vs out/Debug命令生成的visual_webrtc 中的rtc_base

ValueError: all the input array dimensions for the concatenation axis must match exactly, but along-程序员宅基地

文章浏览阅读3.5w次,点赞11次,收藏11次。问题描述:错误使用numpy的concatenate方法该行代码报错r_b = np.concatenate([x1, x2], axis=2)ValueError: all the input array dimensions for the concatenation axis must match exactly, but along dimension 1, the array at index 0 has size 2 and the array at index 1 has size_valueerror: all the input array dimensions for the concatenation axis must m

硬件基础-LDO-程序员宅基地

文章浏览阅读1k次,点赞17次,收藏26次。将采集的电压输入到比较器反向输入端,与正向输入端的基准电压(也就是期望输出的电压)进行比较,再将比较结果进行放大;稳压器输入变化对输出的影响,即在负载一定的情况下,输出电压变化量和输入电压变化量之比。型三极管的基极),从而这个放大后的信号(电流)就可以控制晶体管的导通电压了,这就是一个负反馈调节回路。是指在给定负载变化下的输出电压的变化,这里的负载变化通常是从无负载到满负载。芯片的静态电流的大小与芯片的其他性能成反关系,如低噪声,高电源电压抑制比,动态性能好的。正电压的器件较多,负电压的器件可以考虑。

史上最全量化交易资源整理_quantconnect-程序员宅基地

文章浏览阅读3.2k次。转自:https://blog.csdn.net/yyjava/article/details/82149891开源量化交易框架整理:https://www.oschina.net/p/samaritanhttps://www.oschina.net/p/vn-pyhttps://www.oschina.net/p/abuhttps://www.oschina.net/p/abuqua..._quantconnect

探索Google Research的大规模语言模型:BigBird-程序员宅基地

文章浏览阅读278次,点赞3次,收藏6次。探索Google Research的大规模语言模型:BigBird项目地址:https://gitcode.com/google-research/bigbird项目简介BigBird是Google Research推出的一个创新性项目,它是一个可扩展到非常长序列的语言模型。在这个项目中,研究人员们采用了一种称为“稀疏自注意力”(Sparse Attention)的技术,使得在处理大规模文本...

hive中处理json数据的函数_hive to_json函数-程序员宅基地

文章浏览阅读812次。Hive中处理json数据的两种方式第一种:将json数据作为字符串进行处理使用函数:get_json_object:解析json数据,返回对应的数据json_tuple:UDTF函数使用案例:–创建数据:vim /export/datas/hivedata.json{“id”: 1701439105,“ids”: [2154137571,3889177061],“total_number”: 493}{“id”: 1701439106,“ids”: [2154137571,38891770_hive to_json函数

推荐文章

热门文章

相关标签