使用spark访问elasticsearch的数据,前提是spark能访问hive,hive能访问es

http://blog.csdn.net/ggz631047367/article/details/50445832

1.配置

cp elasticsearch-hadoop-2.1.1/dist/elasticsearch-hadoop-2.1.1.jar /usr/local/spark-1.5.2/lib/

2.修改配置文件/usr/local/spark/conf/hive-site.xml,添加

<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar</value>
<description>A comma separated list (with no spaces) of the jar files</description>
</property>

3.配置/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar,在spark-env.sh添加

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar

4.启动

sbin/start-thriftserver.sh   --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=hadoop-master     --master spark://10.8.2.100:7077  --jars /usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar

或者

bin/spark-sql –master spark://10.8.2.100:7077 –jars /usr/local/spark-1.5.2/lib/elasticsearch-hadoop-2.1.1.jar

5.测试

beeline -u jdbc:hive2://10.8.2.100:10000 (稍等一下执行此命令,报错有可能是服务还没起来)

select count(dtime) from achi_ex limit 10;

注意:–driver-class-path和–jars的区别,使用sbin/start-thriftserver.sh -h查看

如果1中拷贝到所有slave中spark/lib中,后面不用—jars指定jar包

这种方式比直接访问hive中的数据慢一倍左右

最新文章

  1. [No0000AE]在 Visual Studio 中调试 XAML 设计时异常
  2. Andriod学习笔记3:Mac 平台下搭建 CLion 集成开发环境
  3. 一篇说尽Excel常见函数用法
  4. arcgis安装msi安装包提示&quot;在未标记为正在运行时,调用了RunScript”解决办法
  5. PLSQL导入Excel表中数据
  6. ODAC访问oracle时,提示:由于以前的函数求值超时,函数求值被禁用,必须继续执行才能正常返回
  7. [转贴]使用CryptoAPI解析X509证书和P12证书
  8. jhipster
  9. echo和print语句
  10. Java基础知识强化之集合框架笔记55:Map集合之HashMap集合(HashMap&lt;Integer,String&gt;)的案例
  11. 谈谈Ext JS的组件——布局的用法
  12. 拔一拔 ExtJS 3.4 里你遇到的没遇到的 BUG(1)
  13. 大学二三事&mdash;&mdash;那些人(1)
  14. gitlab 添加SSH Key
  15. 错误:readline/readline.h:没有那个文件或目录解决方法
  16. TP5 强制下载PDF
  17. 《MySQL必知必会》[06] 触发器
  18. bzoj3698 XWW的难题
  19. Javascript日常编码中的一些常见问题
  20. FWT学习笔记

热门文章

  1. Settings.System.getInt获取Setting里的设置信息
  2. 01TCP/IP基础
  3. 【linux】 /etc/shadow 文件
  4. php 安装shpinx扩展
  5. 剑指offer系列23---字符串排列(不是很理解)
  6. bzoj4316: 小C的独立集
  7. C#全角和半角转换
  8. C++开发者都应该使用的10个C++11特性
  9. ASP.NET运行机制原理
  10. unity客户端与c++服务器之间的简单通讯_1