spark HA 的两种实现：

  • 基于文件系统的单点恢复(Single-Node Recovery with Local File System)
  • 基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)

1.基于文件系统的单点恢复

在spark-env里对SPARK_DAEMON_JAVA_OPTS设置：

System property Meaning
spark.deploy.recoveryMode Set to FILESYSTEM to enable single-node recovery mode (default: NONE).（设成FILESYSTEM ， 缺省值为NONE）
spark.deploy.recoveryDirectory The directory in which Spark will store recovery state, accessible from the Master's perspective.（Spark 保存恢复状态的目录）

在spark-env.sh 中添加property

export SPARK_DAEMON_JAVA_OPTS="

    -Dspark.deploy.recoveryMode=FILESYSTEM

    -Dspark.deploy.recoveryDirectory=/home/hadoop/spark-1.2.-bin-2.2./recovery"

最新文章

  1. Mac OS平台下应用程序安装包制作工具Packages的使用介绍
  2. HTML5 review
  3. SCP注意事项
  4. Android ANR分析(2)
  5. org.hibernate.PropertyValueException: not-null property references a null or transient value:
  6. opencv3.1包安装
  7. nyoj 103 A + B problem II
  8. 看个人思路吧，清晰的话就简单 CodeForces 271A - Beautiful Year
  9. Oracle 11gR2 RAC ohasd failed to start 解决方法
  10. Reflection and array
  11. springmvc 跳转页面或者返回json
  12. Django 2.11 静态页面404 解决
  13. svn 基础
  14. Kafka权威指南 读书笔记之（五）深入Kafka
  15. MongoDB常用操作--简介
  16. Python3练习题系列（10）——项目骨架构建
  17. a mechanism for code reuse in single inheritance languages
  18. nginx源码安装教程（CentOS）
  19. httpClient服务端编写
  20. hive 安装centos7

热门文章

  1. mv命令
  2. 如何让ASP.NET网站站点不停止 永远持续运行
  3. C# 数据类型详解
  4. div+css样式表的id,class的常用命名规则
  5. 使用virtualenvwrapper隔离python环境
  6. C# 支付宝接口
  7. （剑指Offer）面试题28：字符串的排列
  8. DB Cache
  9. 3.依赖倒置原则（Dependence Inversion Principle）
  10. Jquery 提示