spark学习笔记3

Spark 支持在集群范围内将数据集缓存至每一个节点的内存中，可避免数据传输，当数据需要重复访问时这个特征非常有用，例如查询体积小的“热”数据集，或是运行如 PageRank 的迭代算法。调用 cache()，就可以将数据集进行缓存：

Spark SQL和 DataFrame可以用于处理结构化数据。

=====================================

请注意, 在 Spark 2.0 之前, Spark 的主要编程接口是弹性分布式数据集（RDD）。在 Spark 2.0 之后, RDD 被 Dataset 替换, RDD 接口仍然受支持, 您可以在 RDD 编程指南中获得更完整的参考。但是, 我们强烈建议您切换到使用 Dataset（数据集）, 其性能要更优于 RDD。请参阅 SQL 编程指南获取更多有关 Dataset 的信息。

http://spark.apachecn.org/docs/cn/2.2.0/sql-programming-guide.html

=============================================

首先从 Spark 官网下载 Spark 的发行包。因为我们将不使用 HDFS, 所以你可以下载一个任何 Hadoop 版本的软件包。

=============================================

参考资料：https://www.cnblogs.com/shishanyuan/p/6629295.html
Spark程序的性能和调优方面，从您的实践上来看，有哪些值得注意的？
回答：在不同的应用场景对Spark优化关注不同，自己谈一下个人的经验：
（1）资源调度：在实际部署的Spark集群资源调度一般分为粗粒度调度和细粒度调度两种模式。粗粒度包括了独立运行模式和Mesos粗粒度运行模式，在这种情况下整个机器作为分配单元执行作业，该模式优点是由于资源长期持有减少了资源调度的时间开销，缺点是该模式中无法感知资源使用的变化，易造成系统资源的闲置，从而造成了资源浪费。而细粒度包括了YARN运行模式和Mesos细粒度运行模式,该模式的优点是系统资源能够得到充分利用，缺点是该模式中每个任务都需要从管理器获取资源，调度延迟较大、开销较大。对于运行的作业工作量较大、集群共享程度低，建议使用粗粒度运行模式，而对于工作量比较均匀、集群共享程度高，则建议使用细粒度运行模式。
（2）作业调度：对于Spark的作业目前提供了两种调度策略：一种是FIFO模式，这也是目前默认的模式；另一种是FAIR模式，该模式的调度可以通过参数的配置来决定作业执行的优先模式。FIFO模式比较简单，但无法根据作业的优先级和权重进行分配，这种情况下对于调度算法也需要根据作业工作量和集群共享程度进行设置，一般认为工作量小或者集群共享程度低则建议使用FIFO模式，反之使用FAIR模式。
（3）Shuffle：尽可能避免Shuffle，如果不能避免则应该减少Shuffle数据的规模，比如在数据处理中包含宽依赖和窄依赖操作，可以通过窄依赖操作把数据规模减下来后再进行宽依赖的操作。另外在Spark中Shuffle分为基于哈希的Shuffle写操作和基于排序的Shuffle写操作，基于哈希的Shuffle写操作在Map和Reduce数量较大的情况会导致写文件数量大和缓存开销过大的问题，在Spark1.2版本开始默认为Shuffle写。
（4）序列化&压缩：业界公认大数据处理最大的瓶颈在于集群的IO。在Spark中，把数据处理过程中的数据存在内存中，减少磁盘的IO，极大提高处理速度。而对于在网络传输上建议采用高效的序列化和压缩算法，这样能够大幅度减少数据处理时间，比如可以使用Kryo序列化算法，在压缩算法LZ4提供了压缩速度和压缩比俱佳的性能。
（5）最后需要说的是如果条件允许，把Spark升级到2.0版本，在该版本中通过钨丝计划对Spark核心和Spark SQL进行底层优化，相比以前的版本有了较大幅度的提升。

==============Spark会把数据都载入到内存么？

https://www.jianshu.com/p/b70fe63a77a8

巴特西

spark学习笔记3

最新文章

热门文章