Structured Streaming + Kafka 集成中遇到的问题
官方指导：http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html
1、版本问题 起初用的kafka是0.8，各种问题，后面换成官方要求的 0.10.0 以上，一些版本问题再没有了。
2、在windwos 下 测试 本地模式测试代码逻辑
错误1：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
遇到这个问题请确认一下几个步骤是否正确
1、C:/Windows/System32/和Hadoop—Home/bin目录下添加hadoop.dll文件
2、hadoop_home的环境变量
3、hadoop.dll的版本的问题(hadoop2.4之前和之后对hadoop.dll的要求不一样)
错误2：Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
错误2是紧接着错误1的，网上说目前错误的解决办法还没有解决，采用一种临时的方式来解决，解决的办法是：通过下载你的CDH的版本的源码（hadoop2.6.0-cdh5.4.4-src.zip），在对应的文件下，hadoop2.6.0-cdh5.4.4-src\hadoop-common-project\hadoop- common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project（复制的过程中需要注意一点，就是在当前的工程下创建相同的包路径，这里的包路径org.apache.hadoop.io.nativeio，再将对应NativeIO.java文件复制到对应的包路径下即可。）
需要替换的
NativeIO.java
最新文章
- iOS 系统数字键盘左下角加确定按钮
- sap 取货币之间汇率
- 一条诡异的insert语句
- 开始使用 Markdown
- 【BZOJ1500】[NOI2005]维修数列
- 控件构造函数需要的AOwner是TComponent，而不是Parent
- Css溢出隐藏
- validate验证
- cocos2d-x3.x Vector
- Running Spark on YARN
- 爬虫 - 动态分页抓取 游民星空 的资讯 - bs4
- centos 7 安装二进制mysql 详细步骤
- sg函数小结
- mod_conference ESL控制二（事件）
- 对Array.prototype.slice.call()方法的理解
- C#一些常用的图片操作方法：生成文字图片 合并图片等
- MyBatis之Hello world（Mybatis入门）
- 跨域CORS原理及调用具体示例
- 四、 git关联远程仓库及推送
- POJ1734无向图求最小环