【Spark篇】--Spark中Standalone的两种提交模式
一、前述
Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-master模式。
二、具体
1、Standalone-client提交任务方式
- 提交命令
./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.
0-hadoop2.6.0.jar 100
./spark-submit --master spark://node01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../li
b/spark-examples-1.6.0-hadoop2.6.0.jar 100
解释：--class org.apache.spark.examples.SparkPi main函数
../lib/spark-examples-1.6.0-hadoop2.6.0.jar jar包
100 main函数需要参数
- 执行原理图解
- 执行流程
1、client模式提交任务后，会在客户端启动Driver进程。
2、Driver会向Master申请启动Application启动的资源。
3、资源申请成功，Driver端将task发送到worker端执行。
4、worker将task执行结果返回到Driver端。
- 总结
个application到集群运行，次网卡流量暴增的问题。（因为要监控task的运行情况，会占用很多端口，如上图的结果图）客户端网卡通信，都被task监控信息占用。
2、Client端作用
1. Driver负责应用程序资源的申请
2. 任务的分发。
3. 结果的回收。
4. 监控task执行情况。
2、Standalone-cluster提交任务方式
- 提交命令
./spark-submit --master spark://node01:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../
lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
- 执行原理图解
- 执行流程
1、cluster模式提交应用程序后，会向Master请求启动Driver.(而不是启动application)
2、Master接受请求，随机在集群一台节点启动Driver进程。
3、Driver启动后为当前的应用程序申请资源。Master返回资源，并在对应的worker节点上发送消息启动Worker中的executor进程。
4、Driver端发送task到worker节点上执行。
5、worker将执行情况和执行结果返回给Driver端。Driver监控task任务，并回收结果。
- 总结
1、当在客户端提交多个application时，Driver会在Woker节点上随机启动，这种模式会将单节点的网卡流量激增问题分散到集群中。在客户端看不到task执行情况和结果。要去webui中看。cluster模式适用于生产环境
2、 Master模式先启动Driver，再启动Application。
最新文章
- geotrellis使用（二十五）将Geotrellis移植到spark2.0
- 北京培训记day4
- iOS 网络监测
- CSS3-column分栏
- 【iCore3 双核心板_FPGA】例程二：GPIO输出实验——点亮三色LED
- buffer pool
- 使用servlet实现用户注册功能
- 推荐两个很好用的javascript模板引擎
- 【收藏】Linux添加/删除用户和用户组
- android viewpager change adapter －－－在使用viewpager设置新的adapter的时候发现页面还是显示旧的adapter中的值
- H - Highways - poj 1751（prim）
- 学校oj平台上不去
- ViewController
- Oracle中清除BIN$开头的垃圾表的解决办法
- bzoj 3551: [ONTAK2010]Peaks加强版
- 15 ActionBar.Tab 以及保存fragment对象 代码案例
- ftp实现普通账号和vip账号限速
- numpy C语言源代码调试（一）
- 用JDBC连接 数据库 进行简单的增删改查
- pandas数据结构之series操作