SparkContext初始化流程图

其它说明：

1. 在createTaskScheduler会根据不同的提交模式创建backend对象(如本地模式为LocalBackend)。
2. 在SparkDeploySchedulerBackend中构造ApplicationDescription对象appDesc，该对象描述了Application最大需要多少CPU core,每个slave上需要多少内存.
3. 
4. 在DAGScheduler和TaskScheduler对象初始化完成后，每执行到一个Action操作就会创建一个job,该job会提交到DAGScheduler，划分为多个stage然后为每个stage创建一个TaskSet。
5. TaskScheduler把TaskSet中的每一个task提交到executor上执行

1. 关于 DAGScheduler和TaskScheduler的分析在后面章节中说明。

最新文章

1. jquery版的全选，全不选和反选
2. Visual Studio: How to change ipch path in Visual Studio 2010 (.sdf, *.opensdf, ...)
3. linux 常用的酷炫命令
4. MyBatis知多少（9）不同类型的数据库
5. Log4net中的调错
6. .NET Framework Execution Was Aborted By Escalation Policy
7. VML/SVG在Web开发中一些常见的框架
8. MongoDB 3 + Windows 7 X64安装及配置
9. linux vim 配置文件(高亮+自动缩进+行号+折叠+优化)
10. Jordan Lecture Note-3: 梯度投影法
11. 多尺度二维离散小波重构waverec2
12. Windows下主机名和IP映射设置
13. 九天学会Java，第二天，算术运算
14. c++类的声明
15. 知乎专栏开放性api
16. AX2009 批处理作业中使用多线程---独立任务模式
17. Flutter的scope_model使用mixin语法报错
18. Spark记录-SparkSQL远程操作MySQL和ORACLE
19. ASP.NET MVC高亮显示当前页面菜单
20. 曲演杂坛--使用ALTER TABLE修改字段类型的吐血教训

热门文章

1. 关闭MyEclipse的Quick Update
2. uva10943
3. ural 1123
4. Oracle----dual
5. C++11多线程教学（二）
6. Linux---More命令 初级实现
7. [mock]12月28日
8. mycat读写分离
9. hadoop之eclipse环境的配置
10. WCF实例上下文