065 updateStateByKey的函数API

一：使用场景

1.应用场景

　　数据的累加

　　一段时间内的数据的累加

2.说明

　　每个批次都输出自己批次的数据，

　　这个时候，可以使用这个API，使得他们之间产生联系。

3.说明2

　　在累加器的时候，起到的效果和这里的说明想法有些相同，都可以输出上一个批次的信息

二：程序

1.需要启动一些服务

　　需要使用hadoop

2.程序

 package com.stream.it

 import kafka.serializer.StringDecoder

 import org.apache.spark.rdd.RDD

 import org.apache.spark.storage.StorageLevel

 import org.apache.spark.streaming.kafka.KafkaUtils

 import org.apache.spark.streaming.{Seconds, StreamingContext}

 import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}

 object UpdateStateByKeyKafkaWordcount {

   def main(args: Array[String]): Unit = {

     val conf=new SparkConf()

         .setAppName("spark-streaming-wordcount")

           .setMaster("local[*]")

     val sc=SparkContext.getOrCreate(conf)

     val ssc=new StreamingContext(sc,Seconds(15))

     val kafkaParams=Map("group.id"->"stream-sparking-0",

           "zookeeper.connect"->"linux-hadoop01.ibeifeng.com:2181/kafka",

           "auto.offset.reset"->"smallest"

     )

     val topics=Map("beifeng"->1)

     val dStream=KafkaUtils.createStream[String,String,StringDecoder,StringDecoder](

       ssc,             //给定sparkStreaming的上下文

       kafkaParams,     //kafka的参数信息，通过kafka HightLevelComsumerApi连接

       topics,          //给定读取对应的topic的名称以及读取数据的线程数量

       StorageLevel.MEMORY_AND_DISK_2     //数据接收器接收到kafka的数据后的保存级别

     ).map(_._2)

     // 当调用updateStateByKey函数API的时候，必须给定checkpoint dir

     // 路径对应的文件夹不能存在

     ssc.checkpoint("hdfs://linux-hadoop01.ibeifeng.com:8020/beifeng/spark/streaming/chkdir01")

     /**

       def updateStateByKey[S: ClassTag](

         updateFunc: (Seq[V], Option[S]) => Option[S],

         partitioner: Partitioner,

         initialRDD: RDD[(K, S)]

       ): DStream[(K, S)]

       */

     val resultWordcount=dStream

       .filter(line=>line.nonEmpty)

         .flatMap(line=>line.split(" ").map((_,1)))

         .reduceByKey(_+_)

         .updateStateByKey(

           (values: Seq[Int], state: Option[Long]) => {

             // 从value中获取累加值

             val sum = values.sum

             // 获取以前的累加值

             val oldStateSum = state.getOrElse(0L)

             // 更新状态值并返回

             Some(oldStateSum + sum)

           }

       )

     resultWordcount.foreachRDD(rdd=>{

       rdd.foreachPartition(iter=>iter.foreach(println))

     })

     //启动

     ssc.start()

     //等到

     ssc.awaitTermination()

   }

 }

三：updateStateByKey的优化

1.说明

　　主要的情况是，程序停止，刚刚累加的数据不再存在。

　　重启后效果如下：

　　　　只剩下，已经被checkPoint的数据，后面的数据不再存在。

2.优化的程序

　　多加两个参数。

 package com.stream.it

 import kafka.serializer.StringDecoder

 import org.apache.spark.rdd.RDD

 import org.apache.spark.storage.StorageLevel

 import org.apache.spark.streaming.kafka.KafkaUtils

 import org.apache.spark.streaming.{Seconds, StreamingContext}

 import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}

 object UpdateStateByKeyKafkaWordcount {

   def main(args: Array[String]): Unit = {

     val conf=new SparkConf()

         .setAppName("spark-streaming-wordcount")

           .setMaster("local[*]")

     val sc=SparkContext.getOrCreate(conf)

     val ssc=new StreamingContext(sc,Seconds(15))

     val kafkaParams=Map("group.id"->"stream-sparking-0",

           "zookeeper.connect"->"linux-hadoop01.ibeifeng.com:2181/kafka",

           "auto.offset.reset"->"largest"

     )

     val topics=Map("beifeng"->1)

     val dStream=KafkaUtils.createStream[String,String,StringDecoder,StringDecoder](

       ssc,             //给定sparkStreaming的上下文

       kafkaParams,     //kafka的参数信息，通过kafka HightLevelComsumerApi连接

       topics,          //给定读取对应的topic的名称以及读取数据的线程数量

       StorageLevel.MEMORY_AND_DISK_2     //数据接收器接收到kafka的数据后的保存级别

     ).map(_._2)

     // 当调用updateStateByKey函数API的时候，必须给定checkpoint dir

     // 路径对应的文件夹不能存在

     ssc.checkpoint("hdfs://linux-hadoop01.ibeifeng.com:8020/beifeng/spark/streaming/chkdir01")

     // 初始化updateStateByKey用到的状态值

     // 从保存状态值的地方(HBase)读取状态值， 这里采用模拟的方式

     val initialRDD: RDD[(String, Long)] = sc.parallelize(

       Array(

         ("hadoop", 100L),

         ("spark", 25L)

       )

     )

     /**

       def updateStateByKey[S: ClassTag](

         updateFunc: (Seq[V], Option[S]) => Option[S],

         partitioner: Partitioner,

         initialRDD: RDD[(K, S)]

       ): DStream[(K, S)]

       */

     val resultWordcount=dStream

       .filter(line=>line.nonEmpty)

         .flatMap(line=>line.split(" ").map((_,1)))

         .reduceByKey(_+_)

         .updateStateByKey(

           (values: Seq[Int], state: Option[Long]) => {

             // 从value中获取累加值

             val sum = values.sum

             // 获取以前的累加值

             val oldStateSum = state.getOrElse(0L)

             // 更新状态值并返回

             Some(oldStateSum + sum)

           },

           new HashPartitioner(ssc.sparkContext.defaultParallelism), // 分区器

           initialRDD // 初始化状态值

       )

     resultWordcount.foreachRDD(rdd=>{

       rdd.foreachPartition(iter=>iter.foreach(println))

     })

     //启动

     ssc.start()

     //等到

     ssc.awaitTermination()

   }

 }

3.运行效果

4.注意点

　　需要有checkPoint的路径。

　　累加值存在硬盘中，长时间不访问会被删除。

巴特西

065 updateStateByKey的函数API

最新文章

热门文章