一、spark安装

　　   因为之前安装过hadoop，所以，在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop 　　distributions]”，然后，点击“Download Spark”后面的“spark-2.1.0-bin-without-hadoop.tgz”下载即可。Pre-build with user-provided Hadoop: 　　属于“Hadoop free”版，这样，下载到的Spark，可应用到任意Hadoop 版本。　　

　　　　　　

　　上传spark软件包到任意节点上

　　解压缩spark软件包到/usr/local/目录下

　　　　　

　　重命名为spark文件夹

　　　　 mv  spark-2.1.0-bin-without-hadoop/ spark

　　重命名conf/目录下spark-env.sh.template为spark-env.sh

　　　　cp spark-env.sh.template spark-env.sh

　　重命名conf/目录下slaves.template为slaves

　　　　mv slaves.template slaves

二、配置spark

　　　编辑conf/spark-env.sh文件，在第一行添加以下配置信息:

　　　　　　export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

　　　　　　＃上述表示Spark可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。

　　　　　　export JAVA_HOME=/usr/local/jdk64/jdk1.8.0

　　　编辑conf/slaves文件

　　　　　　

三、验证spark是否安装成功

　　在spark目录中输入命令验证spark是否安装成功

　　　　　　bin/run-example SparkPi

　　　　　　bin/run-example SparkPi 2>&1 | grep "Pi is"　　　　　　　　#过滤显示出pi的值

　　　　　　

　　　　web界面为8080端口

　　　　　

　　集群模式下shell

　　　pyspark --master spark://master:7077　　　　#python

　　提交应用

　　　　spark-submit

　　　　　　--class <main-class> 　　　　　　　　#需要运行的程序的主类，应用程序的入口点
　　　　　　--master <master-url> 　　　　　　　#Master URL，下面会有具体解释
　　　　　　--deploy-mode <deploy-mode> 　　  #部署模式
　　　　　　... # other options 　　　　　　　　　 #其他参数
　　　　　　<application-jar> 　　　　　　　　　  #应用程序JAR包
　　　　　　[application-arguments]　　　　　　  #传递给主类的主方法的参数

最新文章

1. 如何写出安全的API接口（参数加密+超时处理+私钥验证+Https）- 续（附demo）
2. navigationController 返回前N个视图
3. SQL JOINS
4. 重新想象 Windows 8 Store Apps 系列文章索引
5. zju 1937 初涉——深度优先搜索
6. python 连接数据库-设置oracle ，mysql 中文字符问题
7. 恢复SQLServer实例连接
8. 使用IO流实现音频的剪切和拼接
9. Coursera课程 Programming Languages, Part A 总结
10. redis与python交互
11. 用C++向一个txt文档中写数据
12. redis 系列22 复制Replication (下)
13. response 输出中文数据 文件下载
14. 《Dare To Dream》第六次作业：团队项目系统设计改进与详细设计
15. SHELL 脚本小技巧
16. [Python设计模式] 第24章 加薪审批——职责链模式
17. NetBeans 代码折叠
18. 记录搭建ssm项目
19. MySQL存储过程中使用SELECT …INTO语句为变量赋值
20. python循环删除列表元素常见错误与正确方法

热门文章

1. Metadata Service 架构详解 - 每天5分钟玩转 OpenStack（165）
2. 000 Python之禅
3. java学习笔记 --- 面向对象
4. Linux下Scala（2.12.1）安装
5. 老司机带路——15个Android撸代码常见的坑
6. iOS 按钮连续提交执行一次（如留言提交，多次拍照问题）
7. Java设计模式GOF之单例模式
8. （转）Java线程面试题 Top 50
9. UWP: 掌握编译型绑定 x:Bind
10. 如何在多个项目中分离Asp.Net Core Mvc的Controller和Areas