文档章节

Spring Boot 2.0 M7 整合 ES 5 、Kibana 和 X-pack

SpringForAll
 SpringForAll
发布于 2017/12/07 14:02
字数 1579
阅读 506
收藏 15

本章内容

      1. ES 及 x-pack 下载安装
      1. Kibana 及 x-pack 下载安装
      1. Spring Boot 整合 ES
      1. Spring Boot 操作 ES

阅读时间:5 分钟

摘录:打算起手不凡写出鸿篇巨作的,往往坚持不了完成第一章节

原文出处:spring4all.com

1. ES 及 x-pack 下载安装

spring-data-elasticsearch 之 ElasticSearch 架构初探,详细看下我另外一篇文章《深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探(一)》 http://www.spring4all.com/article/330

ES 三大要素:

  • 文档(Document) 文档,在面向对象观念就是一个对象。在 ES 里面,是一个大 JSON 对象,是指定了唯一 ID 的最底层或者根对象。文档的位置由 _index、_type 和 _id 唯一标识。

  • 索引(Index) 索引,用于区分文档成组,即分到一组的文档集合。索引,用于存储文档和使文档可被搜索。比如项目存索引 project 里面,交易存索引 sales 等。

  • 类型(Type) 类型,用于区分索引中的文档,即在索引中对数据逻辑分区。比如索引 project 的项目数据,根据项目类型 ui 项目、插画项目等进行区分。

和关系型数据库 MySQL 做个类比:

  • Document 类似于 Record
  • Type 类似于 Table
  • Index 类似于 Database

安装步骤如下:

1. 下载 ES 5.5.3

下载地址: https://www.elastic.co/downloads/past-releases/elasticsearch-5-5-3

2. 安装 ES 插件 x-pack

解压 - 然后安装 插件 x-pack

tar -xzf elasticsearch-5.3.0.tar.gz
cd elasticsearch-5.3.0/

// 安装 X-Pack
bin/elasticsearch-plugin install x-pack

3. 配置 ES 并启动

设置 Xpack 安全验证为 false:

vim config/elasticsearch.yml

并添加下面配置:

xpack.security.enabled: false

并启动 ES:

./bin/elasticsearch

或者后台启动
./bin/elasticsearch -d

2. Kibana 及 x-pack 下载安装

1. 下载 Kibana 5.5.3

下载地址: https://www.elastic.co/downloads/past-releases/kibana-5-5-3

2. 安装 Kibana 插件 x-pack

解压 - 然后安装 插件 x-pack

tar -zxvf kibana-5.5.3-darwin-x86_64.tar.gz
cd kibana-5.5.3-darwin-x86_64/

// 安装 X-Pack
bin/kibana-plugin install x-pack

3. 配置 Kibana 并启动

设置 Xpack 安全验证为 false:

vim config/kibana.yml

并添加下面配置:

xpack.security.enabled: false

并启动 Kibana:

./bin/kibanah

或者后台启动
nohup ./bin/kibana &

必须注意:先启动 ES,再启动 Kibana。

如果后台启动注意,关闭命令如下:

ps aux | grep 'elastic'
kill -9 pid

启动成功后,打开网页访问 127.0.0.1:5601 , 默认账号为:elasti,密码为 changeme。

3. Spring Boot 整合 ES

1. pom.xml 依赖

代码如下:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.spring4all</groupId>
    <artifactId>bysocket</artifactId>
    <version>1.0.0</version>

    <description>bysocket :: AI For All</description>

    <properties>
        <lombok.version>1.16.18</lombok.version>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.0.M7</version>
    </parent>

    <dependencies>

        <!-- web 依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-tomcat</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!-- 日志 log4j2 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
        </dependency>

        <!-- 容器 undertow -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-undertow</artifactId>
        </dependency>

        <!-- 简化 lombok -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>${lombok.version}</version>
        </dependency>

        <!-- ES -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
    </dependencies>

    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/libs-milestone</url>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
    </repositories>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <version>1.5.7.RELEASE</version>
                <configuration>
                    <fork>true</fork>
                    <addResources>true</addResources>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

Spring Data

要了解 spring-data-elasticsearch 是什么,首先了解什么是 Spring Data。 Spring Data 基于 Spring 为数据访问提供一种相似且一致性的编程模型,并保存底层数据存储的。

Spring Data Elasticsearch

spring-data-elasticsearch 是 Spring Data 的 Community modules 之一,是 Spring Data 对 Elasticsearch 引擎的实现。 Elasticsearch 默认提供轻量级的 HTTP Restful 接口形式的访问。相对来说,使用 HTTP Client 调用也很简单。但 spring-data-elasticsearch 可以更快的支持构建在 Spring 应用上,比如在 application.properties 配置 ES 节点信息和 spring-boot-starter-data-elasticsearch 依赖,直接在 Spring Boot 应用上使用。

这里依赖的 spring-boot-starter-data-elasticsearch 版本是 2.0,对应的 spring-data-elasticsearch 版本是 5.5.3.RELEASE。 对应 ES 尽量安装成版本一致 5.5.3。

2. application.properties 配置 ES 地址

application.properties 配置如下:

# ES
spring:
  data:
    elasticsearch:
      repositories:
        enabled: true
      cluster-name: elasticsearch
      cluster-nodes: 120.132.29.37:9300

默认 9300 是 Java 客户端的端口。9200 是支持 Restful HTTP 的接口。 更多配置:

  • spring.data.elasticsearch.cluster-name Elasticsearch 集群名。(默认值: elasticsearch)
  • spring.data.elasticsearch.cluster-nodes 集群节点地址列表,用逗号分隔。如果没有指定,就启动一个客户端节点。
  • spring.data.elasticsearch.propertie 用来配置客户端的额外属性。
  • spring.data.elasticsearch.repositories.enabled 开启 Elasticsearch 仓库。(默认值:true。)

3. ES 数据操作层

文章实体类代码如下:

/**
 * 文章
 */
@Document(indexName = "elasticsearch", type = "article")
@Data
public class ArticleEntity implements Serializable {

    // 作者信息
    private String writer;

    // 文章信息
    @Id
    private Long id;

    private String title;

    private String content;

    // 归属信息
    private Long admin;
}
  1. City 属性名不支持驼峰式。
  2. indexName 配置必须是全部小写,不然会出异常。 org.elasticsearch.indices.InvalidIndexNameException: Invalid index name [provinceIndex], must be lowercase

ES 数据操作层实现代码如下:

@Repository
public interface ArticleRepository extends ElasticsearchRepository<ArticleEntity, Long> {

}

接口只要继承 ElasticsearchRepository 接口类即可,具体使用的是该接口的方法:

    <S extends T> S save(S var1);

    <S extends T> Iterable<S> saveAll(Iterable<S> var1);

    Optional<T> findById(ID var1);

    boolean existsById(ID var1);

    Iterable<T> findAll();

    Iterable<T> findAllById(Iterable<ID> var1);

    long count();

    void deleteById(ID var1);

    void delete(T var1);

    void deleteAll(Iterable<? extends T> var1);

    void deleteAll();
    
    <S extends T> S index(S var1);

    Iterable<T> search(QueryBuilder var1);

    Page<T> search(QueryBuilder var1, Pageable var2);

    Page<T> search(SearchQuery var1);

    Page<T> searchSimilar(T var1, String[] var2, Pageable var3);

    void refresh();

    Class<T> getEntityClass();

增删改查、搜索都有了,不需要我们具体实现,只需我们传入对应的参数即可。

4. 文章搜索 ES 业务逻辑实现类

实现了批量保存到 ES 的接口,代码如下:

@Service
@Primary
@AllArgsConstructor
@Log4j2
public class ArticleServiceImpl implements ArticleService {

    private final ArticleRepository articleRepository;

    @Override
    public boolean saveArticles(List<ArticleBean> articleBeanList) {

        List articleEntityList = transferToArticleEntityList(articleBeanList);
        articleRepository.saveAll(articleEntityList);

        return true;
    }

	... 省略
} 

4. Spring Boot 操作 ES

用 Postman 工具新增文章:

POST /api/articles HTTP/1.1
Host: 127.0.0.1:8080
Content-Type: application/json
Cache-Control: no-cache
Postman-Token: d6288a82-b98f-1c1e-6dad-15b0223102ab

[
	{
    	"id":2,
    	"title":"文章题目",
    	"writer":"温岭",
    	"content":"温岭是个沿海城市",
    	"admin":1
	},
	{
    	"id":3,
    	"title":"文章题目文章题目文章题目",
    	"writer":"温1岭",
    	"content":"温2岭是个沿海城市",
    	"admin":1
	}
]

然后在 Kibana 设置 indexName 为 "elasticsearch",并打开 Discover tab,可以看到数据,并可以搜索查询,如图:

更多 ES 文章:

关注即可得系列教程文章哦!

© 著作权归作者所有

共有 人打赏支持
SpringForAll
粉丝 96
博文 11
码字总数 22839
作品 0
私信 提问
Spring Boot 2.0 M7 整合 ES 5 、Kibana 和 X-pack

本章内容 ES 及 x-pack 下载安装 Kibana 及 x-pack 下载安装 Spring Boot 整合 ES Spring Boot 操作 ES 1. ES 及 x-pack 下载安装 spring-data-elasticsearch 之 ElasticSearch 架构初探,详...

yushiwh
2017/12/07
0
0
聊聊 Spring Boot 2.0 的 WebFlux

聊聊 Spring Boot 2.0 的 WebFlux 泥瓦匠BYSocket2017-11-0416 阅读 Spring技术 聊聊 Spring Boot 2.0 的 WebFlux## 前言 对照下 Spring Web MVC ,Spring Web MVC 是基于 Servlet API 和 Se......

泥瓦匠BYSocket
2017/11/04
0
0
Spring Boot 2.0 自动配置原理浅析

Spring Boot 2.0 自动配置原理浅析 泥瓦匠BYSocket2017-12-221 阅读 SpringJava技术 本章内容 外化配置和自动配置 自动配置原理浅析 Starter 组件浅析 小结 阅读时间:6 分钟 摘录:至简,记...

泥瓦匠BYSocket
2017/12/22
0
0
Spring boot整合ElasticSearch案例分享

The best elasticsearch highlevel java rest api-----bboss Spring boot整合ElasticSearch HighLevel Rest Client案例分享,本文涉及内容 集成bboss es starter 单es集群整合 多es集群整合 ......

bboss
06/26
0
0
linux下X-pack插件安装

首先下载x-pack安装包x-pack-5.6.2安装包 其他版本的安装包可以把https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.6.2.zip 5.6.2换成对应的版本号 下载后检查zip包是否包含三...

qq_28449663
04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式锁的实现

redis实现分布式锁 方法1:普通实现方案 实现方式: 使用指令: set key 随机值 ex 5 nx.意思是当key不存在的时候设置key. 如果key存在返回OK,否则返回nil. 实现过程: 1.执行命令set key true ...

grace_233
22分钟前
1
0
解决CKEditor 4 富文本编辑器在图片组件无法显示[上传]选项卡的相关问题

关于解决CKEditor 4 富文本编辑器在图片组件无法显示[上传]选项卡的相关问题。 本文可能会对以下现象得以解决: 图片上传组件,没有 [上传] 选项卡。 资源无法加载 [imgupload] ( Uncaught E...

Eller
25分钟前
0
0
限制php解析、user_agent、php相关配置

11月20日任务 11.28 限定某个目录禁止解析php 11.29 限制user_agent 11.30/11.31 php相关配置 11.28、限定某个目录禁止解析php 核心配置文件内容 <Directory /data/wwwroot/www.123.com/upl...

zgxlinux
30分钟前
1
0
博客园首页新随笔联系订阅管理 随笔

注解Annotation实现原理与自定义注解例子 什么是注解? 对于很多初次接触的开发者来说应该都有这个疑问?Annontation是Java5开始引入的新特征,中文名称叫注解。它提供了一种安全的类似注释的...

onedotdot
47分钟前
4
1
Spring boot + redis 用RedisTemlate实现简单的String key value 操作

springboot集成redis, 简单的key, value缓存操作. 1. application-local.properties # redis on local#spring.redis.port=6379#spring.redis.host=localhost#spring.redis.password=......

园领T
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部