Spark作为当前主流的分布式计算框架，其高效性、通用性、易用性使其得到广泛的关注，本系列博客不会介绍其原理、安装与使用相关知识，将会从源码角度进行深度分析，理解其背后的设计精髓，以便后续在Spark使用以及设计类似产品提供相关经验，下面开始进入正题。
 
     本系列博客将从集群各端点的设计原理、通信方式、启动流程，以及用户任务提交后，任务的集群加载、分解、调度的方式两个方面进行解读。
 
首先，从脚本开始
 
          详见《【Spark2.0源码学习】-2.一切从脚本说起》
 
其次，在集群各端点的设计原理、通信方式、启动方面
 
     Spark集群由若干节点构成，而每个节点都是可以接受与发送消息的RPC服务端点（终端 ，英文：Endpoint），根据责任的不同可以分为三类端点：Client、Master、Worker，三端调用关系：
 
  1. Client: Spark任务节点，负责发布，查询，以及中止任务的相关进程的统称，Client是运行时有效进程，如果相关任务处理完成，对应的进程结束
  2. Master: Spark管理节点，负责管理Worker进程，协调调度Client发布的任务处理，Master节点可以为多个，有且仅能有一个为acitvity状态，其他为standby状态
  3. Worker: Spark工作节点，负责具体的任务执行工作
 
     我们将在如下章节逐步介绍：
     《【Spark2.0源码学习】-3.Endpoint模型介绍》
     《【Spark2.0源码学习】-4.Master启动》
     《【Spark2.0源码学习】-5.Worker启动》
     《【Spark2.0源码学习】-6.Client启动》
 
最后，在任务的集群加载、分解、调度方面
 
     基于三端模型，用户通过spark-submit提交或者运行spark-shell REPL，集群创建Driver，Driver加载Application，最后Application根据用户代码转化为RDD，RDD分解为Tasks，Executor执行Task等系列知识，整体交互蓝图如下：
 
     (注：如果不能完全理解，可在阅读完相关章节后再回来理解)
  1. Client运行时向Master发送启动驱动申请（发送RequestSubmitDriver指令）
  2. Master调度可用Worker资源进行驱动安装（发送LaunchDriver指令）
  3. Worker运行DriverRunner进行驱动加载，并向Master发送应用注册请求（发送RegisterApplication指令）
  4. Master调度可用Worker资源进行应用的Executor安装（发送LaunchExecutor指令）
  5. Executor安装完毕后向Driver注册驱动可用Executor资源（发送RegisterExecutor指令）
  6. 最后是运行用户代码时，通过DAGScheduler，TaskScheduler封装为可以执行的TaskSetManager对象
  7. TaskSetManager对象与Driver中的Executor资源进行匹配，在队形的Executor中发布任务（发送LaunchTask指令）
  8. TaskRunner执行完毕后，调用DriverRunner提交给DAGScheduler，循环7.直到任务完成
     
    我们将在如下章节逐步介绍：
     《【Spark2.0源码学习】-7.Driver与DriverRunner》
     《【Spark2.0源码学习】-8.SparkContext与Application介绍》
     《【Spark2.0源码学习】-9.Job提交与Task的拆分》
     《【Spark2.0源码学习】-10.Task执行与回馈》
 
     说明：由于Spark属于一个比较大的工程，时间有限，很多非关键点会选择点到即止，另外存在理解错误望理解与指正！

最新文章

  1. h5自定义audio（问题及解决）
  2. IIS将错误信息发送到浏览器
  3. 在sql语句中使用 xml for path 格式化字符串的方法总结
  4. bzoj 1208 splay模板题2
  5. css2----实现三角形和带角框
  6. 将框架的底层改掉，改成一个轻量级的ORM
  7. Hadoop2.2.0 第一步完成MapReduce wordcount计算文本数量
  8. Ruby方法
  9. 【转】Html标签大全
  10. 黑白图像（DFS）
  11. JSONP跨域的原理
  12. 依赖注入及AOP简述（十三）——AOP应用举例（完结） .
  13. debugging python with IDLE
  14. iOS开发-UI (一)常用控件
  15. 如何使用git 发布源码到CodePlex
  16. git创建本地分支以及推送本地分之至远程分支
  17. Python基础知识5-递归函数、生成器
  18. jar包是干什么用的
  19. 关于游览器 cookie的操作类
  20. Maven学习 一 概念介绍

热门文章

  1. 配置Server Side TAF
  2. .NET获取客户端的操作系统、IP地址、浏览器版本
  3. 数据库 t-sql 语句
  4. wxpython tab切换页面
  5. .Net程序员学用Oracle系列(21)：分组查询(GROUP BY)
  6. js闭包深度讲解
  7. NDK(三方库引入、Mk文件)
  8. (4)Object对象的几个常用方法
  9. 无图无定位新版css步骤条兼容ie6+
  10. ruby安装sass报错解决办法