elasticSearch新认知

之前已经学习使用过ElasticSearch的使用，今天补充巩固一下...

上一次的环境是在 linux下使用 EalsticSearch(安装教程详见：https://www.cnblogs.com/msi-chen/p/10335794.html)，

今天的笔记内容为：

　　1.今天的环境我windows本地使用和 docker内的使用；

　　2.Head插件在windows和docker的简单配套使用；

　　3.logstash 完成mysql 和 ES 的数据同步；

ES相对于solr:在面对实时查询大数据量数据时提供强劲的查询速度，无需过多配置支持分布式，开箱即用，

ES的体系结构：索引 ( index ) ——> 类型 ( type ) ——> 文档 ( document )

在 windows 上的使用：

　　ES 在windows上的使用，没有 Linux上的复杂配置，解压开箱即用即可

　　提供服务的ES提供了两个接口以供调用 9200(其他)， 9300 (java)

　　ES是基于Resyful web接口的，我们可以使用 rest请求对其进行简单操作

　　　　比如put提交新建索引，post提交新建文档，get提交查询文档，delete提交删除文档...不多赘述

　　Head插件的安装与使用：

　　　　ES有跨域保护，默认不允许跨域调用，Head想调用需要修改相关配置:

　　　　　　　　elasticsearch.yml 追加两个配置：

　　　　　　　　　　http.cors.enabled: true
　　　　　　　　　　http.cors.allow‐origin: "*"

　　　　安装node js ,安装cnpm : npm install ‐g cnpm ‐‐registry=https://registry.npm.taobao.org

　　　　将 grunt 安装我全局命令： npm install ‐g grunt‐cli

　　　　安装依赖： cnpm install

　　　　cmd 找到解压目录： grunt server 运行即可，访问：localhost:9100　

　　在这里，我们可以看到我们创建了一个名为 myTest 的索引，这个工具着实是简陋，下面我们来粗略的了解一下

　　　　创建索引：

　　　　整个页面很简单，多熟悉熟悉即可（put 可用于创建，如果已经被创建，则视为修改）

　　　　接下来就是了解一下 IK 分词器：

　　　　　　ES 默认自带的中文分词器是一个字为一个词，显然这个不是偶棉想要的结果

　　　　　　于是便引入了现在很流行的 IK分词器，配置也很简单：

　　　　　　　　将 IK分词器解压到 elasticsearch/plugins / 重启ES服务即可

　　　　　　IK分词器提供了两种分词算法：

　　　　　　　　ik_smart 　　　:最少切分

　　　　　　　　iik_max_word :最细粒度划分

　　　　　　　　测试：

　　　　　　　　　http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我喜欢快乐

　　　　　　　　　http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我喜欢快乐

　　　　　　然后就是自定义词库，会把一些没有收纳为词条的字段自定义为词条

　　　　　　　　　自定义以 .dic为尾缀的文件比如： custom.dic

　　　　　　　　　在其内部第一行空格下一行键入你要的词条：比如人艰不拆（注意保存格式诶utf-8）

　　　　　　　　　人艰不拆这个词本来不是词语，现在我们将其作为自定义词条加入分词器

　　　　　　　　　再次测试：

　　　　　　接下来就是 java 代码的运用了，在与数据库的交互中，我们都要创建一个实体类作为结果反射的容器，

　　　　　　在ES中也是一样的，也需要创建一个实体类，用作装载查询到的数据

　　　　　　在ES中有三个概念比较重要，可以理解一下：

　　　　　　　　是否索引：就是看该字段是否能被作为检索字段被搜索

　　　　　　　　是否分词 : 搜索的时候是整体匹配，还是分词词条匹配

　　　　　　　　是否存储：就是在查询结果上，设置是否显示出来

　　　　　　其次就是配置整合需要的 ES 的ip 及 port　(java的端口是 : 9300)

　　　　　　然后就是持久层对 ES 的访问了，我们只需要定义接口继承 ElasticsearchRepository<T, ID>

　　　　　　是不是很这种玩法很熟悉，再给你一个列子看

　　　　　　换汤不换药，还是原来的味道，还是原来的配方。然后就可以愉快的搬砖了......

　　　　　接下来的笔记为 ES 和 MySQL 的数据同步： LogStash　　

　　　　　　网上对LogStash的介绍为： Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

　　　　　　在 ES 上的运用表现为：定时将 MySQL中的数据刷新到 ES ,完成数据更新同步

　　　　　　开箱即用,bin目录中调用 cmd : logstash -e 'input { stdin { } } output { stdout {} }'　　(测试语法)

　　　　　　　　-e ：是执行，当命令很短时，可以运用这个语法，一般我们都是运行文件

　　　　　　　　-f : 跟路径，读取配置文件执行命令，一般用这种

　　　　　　开箱使用：

　　　　　　　　在解压文件夹内创建一个文件夹（随意，读取里面的配置文件）

　　　　　　　在该文件夹内创建一个以 .conf 为尾缀的配置文件

　　　　　　　　文件内容如下：　(酌情改动，以自己的配置为主)

input {

  jdbc {

      # mysql jdbc connection string to our backup databse

      jdbc_connection_string => "jdbc:mysql://192.168.41.130:3306/article?characterEncoding=UTF8"

      # the user we wish to excute our statement as

      jdbc_user => "root"

      jdbc_password => "123456"

      # the path to our downloaded jdbc driver

      jdbc_driver_library => "C:\MyFrame\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"

      # the name of the driver class for mysql

      jdbc_driver_class => "com.mysql.jdbc.Driver"

      jdbc_paging_enabled => "true"

      jdbc_page_size => "50000"

      #以下对应着要执行的sql的绝对路径。

      #statement_filepath => ""

      statement => "select id,title,content from tb_article"

      #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新（测试结果，不同的话请留言指出）

      schedule => "* * * * *"

  }

}

output {

  elasticsearch {

      #ESIP地址与端口

      hosts => "127.0.0.1:9200"

      #ES索引名称（自己定义的）

      index => "article_es"

      #自增ID编号

      document_id => "%{id}"

      document_type => "article"

  }

  stdout {

      #以JSON格式输出

      codec => json_lines

  }

}

　　　　然后在 bin 中执行： logstash -f ../mysqletc/mysql.conf

　　　　然后就可以看到控制台在为我们刷数据到 ES中的，一分钟后刷新 Head

　　　　已经实现数据的同步，接下里我们启动代码看看

巴特西

elasticSearch新认知

最新文章

热门文章