ElasticSearch的安装和使用

2019/03/20 14:44
阅读数 31

一、传统版安装

1.下载es: https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-8

2.运行:下载后解压,进入到bin目录,执行:elasticsearch。浏览器输入http://localhost:9200/测试是否启动

3.安装head插件(用于可视化操作es)

1)下载head插件:https://github.com/mobz/elasticsearch-head

2)解压到任意目录,但是要和elasticsearch的安装目录区别开

3)安装node js ,安装cnpm

4)全局安装grunt 。Grunt是基于Node.js的项目构建工具。它可以自动运行你所 设定的任务

npm install -g grunt-cli

5)安装依赖

cnpm install

6)进入elasticsearch-head目录启动head

grunt server

7)浏览器输入http://localhost:9100/测试head插件是否成功安装

8)在页面上方文本框输入es的地址(端口9200),点击连接按钮出现跨域问题

4.在es目录下的config/elasticsearch.yml添加两行使es能被head等插件跨域访问。改配置后重启es:

http.cors.enabled: true
http.cors.allow-origin: "*"

5.安装IK分词器 

1)下载ielasticsearch-analysis-ik-5.6.8.zip。下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases

2)解压zip,重命名解压后的目录为ik,拷贝到elasticsearch/plugins目录

3)重启es

4)浏览器测试ik分词器:

http://localhost:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员 //其中ik_max_word为最多切分,ik_smart为最少切分

5)自定义词库

a.进入elasticsearch/plugins/ik/config目录

b.新建一个my.dic文件,编辑内容:

c.修改elasticsearch/plugins/ik/config/IKAnalyzer.cfg.xml

<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">my.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

d.重启es。测试

http://localhost:9200/_analyze?analyzer=ik_max_word&pretty=true&text=人艰不拆

 

二、使用

1.以Restful方式操作ES

● 新建一个名为articleindex索引。PUT请求

http://127.0.0.1:9200/articleindex/

● 查询全部文档。GET请求

http://127.0.0.1:9200/articleindex/article/_search

● 创建/修改文档(如果不存在_id为1的文档则会创建,反之则会修改)。PUT请求

http://192.168.184.134:9200/articleindex/article/1

● 按I_id查询文档。GET请求

http://192.168.184.134:9200/articleindex/article/1

● 基本匹配查询(查title为“好给力”的文档)。GET请求

http://192.168.184.134:9200/articleindex/article/_search?q=title:好给力

● 模糊查询。GET请求

http://192.168.184.134:9200/articleindex/article/_search?q=title:*s*

● 删除文档。DELETE请求

http://192.168.184.134:9200/articleindex/article/1

 2.SpringDataElasticSearch

0)因为elasticsearch从5版本以后默认不开启远程连接,需要修改es目录下config/elasticsearch.yml,添加一行

transport.host: 0.0.0.0

如果不加上会出现NoNodeAvailableExceptionn[None of the configured nodes are available

其中0.0.0.0表示允许任何ip远程连接es。如果项目上线需要指定ip有权限访问

1)添加依赖

<dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-elasticsearch</artifactId>
            <version>3.0.6.RELEASE</version>
        </dependency>

2)application.yml文件配置

spring:
  data:
    elasticsearch:
      cluster-nodes: 127.0.0.1:9300 #java操作es用的是9300端口

3)实体类

@Document(indexName = "tenpower", type = "article")
public class Article implements Serializable {
    @Id
    private String id;

    @Field(analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")
    private String title; //文章标题

    @Field(analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")
    private String content;//文章正文

    private String status; //审核状态

    //Getter and Setter ...
}

4)Dao。也是SpringData风格

public interface ArticleSearchDao extends ElasticsearchRepository<Article,String> {
}

 3.logstash使用

1)解压logstash,然后在解压目录下创建mysqletc目录(名称随意)

2)在该目录下创建mysql.conf(名称随意),内容如下(需要修改配置):

input {
  jdbc {
      # mysql jdbc connection string to our backup database
      jdbc_connection_string => "jdbc:mysql://192.168.25.129:3306/tensquare_article?characterEncoding=UTF8"
      # the user we wish to excute our statement as
      jdbc_user => "root"
      jdbc_password => "123456"
      # the path to our downloaded jdbc driver  
      jdbc_driver_library => "E:/logstash-6.7.0/mysqletc/mysql-connector-java-5.1.46.jar"
      # the name of the driver class for mysql
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      #以下对应着要执行的sql的绝对路径。
      #statement_filepath => ""
      statement => "select id,title,content from tb_article"
      #定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
      schedule => "* * * * *"
  }
}

output {
  elasticsearch {
      #ESIP地址与端口
      hosts => "localhost:9200" 
      #ES索引名称(自己定义的)
      index => "tenpower"
      #自增ID编号
      document_id => "%{id}"
      document_type => "article"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}

3)将mysql驱动包mysql-connector-java-5.1.46.jar拷贝到mysqletc目录下

4)在logstash的bin目录下执行

logstash -f ../mysqletc/mysql.conf

过一会可以看到执行成功log

 

三、docker下安装es

1.安装es

#下载镜像
docker pull elasticsearch:5.6.8
#运行容器 docker run -di --name=es -p 9200:9200 -p 9300:9300 elasticsearch:5.6.8

2.修改application.yml将ip地址改为宿主机的ip地址

3.进入容器修改/usr/share/elasticsearch/config下的elasticsearch.yml,追加

#防止出现NoNodeAvailableException异常
transport.host: 0.0.0.0 
#允许head插件跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"

4.修改宿主机系统配置

1)vi /etc/security/limits.conf,追加

* soft nofile 65536
* hard nofile 65536

其中nofile是单个进程允许打开的最大文件个数,soft nofile是软限制,hard nofile是硬限制

2)vi /etc/sysctl.conf,追加

vm.max_map_count=655360

表示限制一个进程可以拥有的VMA(虚拟内存区域)的数量

3)执行下面命令 修改内核参数马上生效

sysctl -p

5.ik分词器安装和win下安装一样

6.安装head插件

1)下载镜像

docker pull mobz/elasticsearch-head:5

2)运行head容器

docker run -di --name=es-head -p 9100:9100 mobz/elasticsearch-head:5

 7.logstash同win

 

四、完整版安装

1.添加一个用户(viuman)。因为elasticsearch默认不允许以root账号运行

2.改es配置文件

1)vim elasticsearch-7.4.0/config/jvm.options。把内存调小若512还是大了继续减少

-Xms512m
-Xmx512m

2)vim elasticsearch-7.4.0/config/elasticsearch.yml

path.data: /home/viuman/elasticsearch/data # 数据目录位置
path.logs: /home/viuman/elasticsearch/logs # 日志目录位置

network.host: 0.0.0.0 # 绑定到0.0.0.0,允许任何ip来访问

node.name: node-1 #打开一个注释节点 cluster.initial_master_nodes: ["node-1"] # 取消注释保留一个节点

如果centos内核版本低于3.5,需要禁用es的插件

bootstrap.system_call_filter: false

3)在es目录下建上边指定的data和logs两个目录

注:elasticsearch.yml的其他配置信息

3.修改系统配置文件

1)修改es可运行最大线程数。vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

2)解决线程数不够。vim /etc/security/limits.d/20-nproc.conf 

* soft nproc 4096

3)限制进程可以拥有的VMA(虚拟内存区域)的数量。vim /etc/sysctl.conf  

vm.max_map_count=655360

4.刷新配置,然后重启终端。刷新命令

sysctl -p

5.安装ik分词器

1)ik版本和es保持一致,下载地址:

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip

2)解压到elasticsearch的plugins/ik目录中

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
在线直播报名
返回顶部
顶部