ES对于类似数据库的SQL查询很无力,可以使用Hive on ES来实现SQL的查询。2个百万级的索引做关联时,需要大概1分多钟,基于es2.1版本。

1.将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib目录下。

2.创建hive表

create external table test(

name string,

address  ARRAY<STRING>,

)

stored by 'org.elasticsearch.hadoop.hive.EsStorageHandler'

tblproperties(

'es.cluster.name'  = 'es',

'es.resource' = 'datatype/mytype',

'es.node' = '27.10.1.2,27.10.1.3',

'es.transport.port' = '9300',

'es.field.names' = 'name ,address '

);

上面的例子中,es中的name字段为string,address为多值字段multi_field ,hive中的数据类型为ARRAY<STRING>。es和hive中数据类型对应关系为:

int int,

long bigint,

float  float,

double   double,

string   string,

multi_field  ARRAY<STRING>,

birthdy   timestamp

3.查询

select * from person p,contact c where p.telephonenum = c.phonenum;

也可以通过Hive向es中导数据,或者直接读取hdfs数据以scroll bulk方式往es中导数据。

最新文章

  1. MapReduce的ReduceTask任务的运行源码级分析
  2. cx_Oracle 报错 Reason: image not found
  3. ORM即 对象-关系映射(转自:微冷的雨)
  4. fedora 24下修改IP
  5. 在文章没有缩略图的时候,如何去掉织梦官方的 DEDECMS无缩略图 图片
  6. RabbitMQ学习总结 第五篇:路由Routing
  7. Linux下php安装phpredis
  8. html5 的&lt;audio&gt; 音频 audio的“坑”
  9. Seay工具分享
  10. dt dd 如何在同一行上
  11. table 表格的增删和修改
  12. pandas 获取数据帧DataFrame的行、列数
  13. 自适应Web主页
  14. ThinkPhp5 出现访问出现 No input file specified. 问题
  15. jenkins 基本配置
  16. 项目:《ssh框架综合项目开发视频》-视频目录和第六天的EasyUI简单讲解
  17. CCF-再卖菜-20180904
  18. MT【236】必要性探路
  19. pc网页中嵌入百度地图
  20. 开始使用Chronograf(官方说明)

热门文章

  1. [No000021]跟维多利亚学英语
  2. mysql linux 备份脚本
  3. 剑指offer_快速查找递增二维数组中是否存在目标
  4. Linux Shell编程(30)——别名
  5. 制作cdlinux u盘启动
  6. 第十七章——配置SQLServer(2)——32位和64位系统中的内存配置
  7. 我的MYSQL学习心得(七)
  8. SpringBoot整合Mybatis之项目结构、数据源
  9. java 类加载机制总结
  10. [struts2学习笔记] 第三节 创建struts 2 HelloWorld所需的六个步骤
  11. kvm虚拟机存储管理
  12. Aes CBC加密
  13. Gulp 之图片压缩合并
  14. 学以致用三十六-----弄懂python装饰器
  15. 连载《一个程序猿的生命周期》-《发展篇》- 22.城市奋斗者的阿Q精神
  16. python使用sax实现xml解析
  17. [Linux]流媒体服务器概述
  18. Latex常用数学符号(转)
  19. Git 环境设置(安装)
  20. SharePoint 使用ECMAscript对象模型来读取帖子列表