flume+sparkStreaming实例 实时监控文件demo
1，flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面
flume-agent.conf
spark是开的work节点，就是单点计算节点，不涉及到master发送管理 只是用到了sparkStreming的实时功能
开启的是spark-shell不是spark-submit 提交jar的形式，提交jar的形式还需要后面研究下
如下 在结算节点下
和flume的jar包要在各个节点上的spark 都要放入：
bin/spark-shell \
--jars /hadoop/spark/spark-2.0/jars/flume-ng-sdk-1.6.0.jar
,/hadoop/spark/spark-2.0/jars/flume-avro-source-1.5.0.1.jar,
/hadoop/spark/spark-2.0/jars/spark-streaming-flume_2.11-2.0.0.jar \
--master local[2]
12端口
val stream = FlumeUtils.createStream(ssc, "10.0.10.12", 9999)
11端口的spark
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.flume._
val ssc = new StreamingContext(sc, Seconds(5))
//9999就是开启的端口 像socket一样 用端口连接
val stream = FlumeUtils.createStream(ssc, "10.0.10.12", 9999)
val wordCountStream = stream.map(x => new String(x.event.getBody.array())).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
wordCountStream.print()
ssc.start()
ssc.awaitTermination()
flume命令
bin/flume-ng agent --conf conf --conf-file conf/taile2stream.conf --name agent -Dflume.root.logger=INFO,console
最新文章
- Linux下Source Insight的安装和汉化
- 新一代编程：scala泛函编程技术－唠叨
- Spring IoC容器的设计—3—次线
- 在Windows下设置环境变量 运行mysql程序变得更容易
- @Autowired 注释与@Qualifier 注释
- Oralce生成前N年的年数据
- Mysql 技巧
- Oracle中用户(User)和模式(Schema)的概念
- vi 和vim 的区别
- CentOS7中利用Xshell6向虚拟机本地上传文件
- 设计模式八: 委派(Delegate)
- Linux常用命令行
- Geekers团队成立日志
- Project Euler Problem7
- 系统服务和普通FORMS程序共存一体的实现
- tomcat日志切割和定期删除(转载)
- T4学习- 4、Kalman Studio-T4代码生成器
- 【struts2】名为chain的ResultType
- Elasticsearch（9）：使用Logstash-input-jdbc同步数据库中的数
- (原) MaterialEditor部- UmateriaEditor中 Node编译过程和使用（1）