1.local单机模式，结果xshell可见：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 100
2.standalone集群模式之client模式：
conf/spark-env.sh添加
export JAVA_HOME=/root/install/jdk1.7.0_21
export SPARK_MASTER_IP=spark1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
vi slaves
添加
node2
node3

rm -rf slaves.template
rm -rf spark-env.sh.template
结果xshell可见：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 --executor-memory 1G --total-executor-cores 2 ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 100
3.standalone集群模式之cluster模式：
结果spark001:8080里面可见！
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 --deploy-mode cluster --supervise --executor-memory 1G --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 100
4.Yarn集群模式，结果spark001:8088里面可见：
在conf/spark-env.sh里添加export HADOOP_CONF_DIR=/home/install/hadoop-2.5/etc/hadoop
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 1 ./lib/spark-examples-1.6.0-hadoop2.4.0.jar 100
com.spark.study.MySparkPi
./bin/spark-submit --class com.spark.study.MySparkPi --master yarn-client --executor-memory 1G --num-executors 1 ./data/spark_pagerank_pi.jar 100

最新文章

  1. phone 调试三种工具
  2. Android js相互调用
  3. [reprint]如何编写引导程序 Hello World
  4. Windows 2003/2008更改远程桌面端口脚本
  5. [转][Swust OJ 24]--Max Area(画图分析)
  6. NEUQ1051: 谭浩强C语言(第三版)习题6.7
  7. JavaScript 函数创建思想
  8. python--元祖和字典
  9. python dataframe数据条件筛选
  10. Nginx的内部(进程)模型
  11. [C]变量作用域
  12. redis,缓存雪崩，粗粒度锁，缓存一致性
  13. React之ant design的table表格序号连续自增
  14. Windows下虚拟机安装Mac OS X —– VM12安装Mac OS X 10.11
  15. ThreadPoolExecutor 源码阅读
  16. Nuxt.js项目实战
  17. Hadoop是怎么分块Block的？
  18. 8I - 吃糖果
  19. ASP.NET Core开源地址
  20. VC++开发Windows系统全局钩子

热门文章

  1. 算法之插入排序(inertionSort)
  2. 使用weinre通过PC浏览器调试手机网页
  3. json 包含字段及函数的写法
  4. aix5下安装python和cx_Oracle
  5. 开发设计模式（九）门面模式（Facade Pattern）
  6. POSIX多线程编程(上)-基本概念
  7. firefox浏览器删除插件
  8. C语言杂记
  9. Spring3事务管理——使用@Transactional 注解（转）
  10. ASP.NET 使用mode=”InProc”方式保存Session老是丢失，无奈改成StateServer 模式。