文档章节

搭建Tomcat8+ solr-5.5.1+zookeeper3.4.6集群

燃點
 燃點
发布于 2016/06/15 14:49
字数 2243
阅读 270
收藏 8

 

1、软件环境配置

环境: Windows 7

apache-tomcat-8.0.35下载地址: http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/

Zookeepr v3.4.6 下载地址: http://apache.fayea.com/zookeeper/

solr-5.5.1  下载地址: http://mirrors.cnnic.cn/apache/lucene/solr/

JDK1.7 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

 

2、部署过程

2.1 部署好单机版Tomcat7 +Solr5.5.1

第一步:在E盘根目录下建立solrcloud目录。并把apache-tomcat-8.0.35-windows-x64.zip解压到solrcloud目录下,复制apache-tomcat-8.0.35并重命名为tomcat8-1。把solr-5.5.1.zip解压,并把solr-5.5.1\example\example-DIH\solr目录下的 solr文件夹 和 solr.xml  复制保存到solr_home_1\home 目录。如下图:

第一步:把apache-tomcat-8.0.35-windows-x64.zip解压到solrCloud目录下,复制apache-tomcat-8.0.35并重命名为tomcat8-1,

第二步,新建 solr_home_1 文件夹如下图,并在目录下,创建 home  和 server 文件夹

 

第三步:把solr-5.2.1\example\example-DIH\solr指定文件复制到solr_home_1\home目录下,如下图

第四步:把solr-5.5.1\server\solr-webapp\webapp下的内容复制到solr_home_1\server\solr下面,solr文件夹可以自己新建一个。

复制到

 

第五步:修改E:\solrcloud\solr_home_1\server\solr\WEB-INF目录下的web.xml文件,里面修改solr/home的value值,如下图。

 

 

第六步:在E:\solrcloud\solr_home_1\server\solr\WEB-INF目录下创建classes文件夹,将solr-5.5.1\example\resources\log4j.properites文件复制到classes目录下。

第七步:因为我们未将solr 服务放到tomcat webapps下面,所以需要修改E:\solrcloud\tomcat8-1\conf\server.xml 指向solr服务路径。如下图。

第八步:将solr-5.5.1\dist 和solr-5.5.1\server\lib\ext目录下的jar包复制到solr_home_1\server\solr\WEB-INF\lib 下(有这两个目录的jar大部分功能都是支持了,当然其它的jar肯定有用的,只是我们初学都暂时用不到)。

 

 

第九步:现在单机版本的就已经配置OK了。 启动tomcat, 访问http://localhost:8080/solr

 

2.2 配置多Tomcat+solr同时运行

 

第一步:

把tomcat8-1复制2份,分别命名tomcat8-2,tomcat8-3; 

把solr_home_1复制2份,分别命名solr_home_2,solr_home_3。

目录结构如下:

 

第二步:修改E:\solrcloud\tomcat8-*\conf\server.xml配置。

1、 修改 tomcat8-* 分别对应 各自solr_home_* 和 solr 服务 。

如下图:tomcat8-*对应solr_home_1、2 、3;

 

2、  为了三个tomcat能够在一台机器上同时启动,需要在server.xml修改tomcat的端口信息。修改方案如下:

  SHUTDOWN Port HTTP/1.1 Port AJP/1.3 Port
tomcat8-1 8005 8080 8009
tomcat8-2 8015 8081 8019
tomcat8-3 8025 8082 8029

 

第三步:配置各个tomcat和solr 之间的关系,修改E:\solrcloud\solr_home_*\server\solr\WEB-INF目录下的web.xml文件(对应关系)

 

第四步:验证修改是否成功,依次启动三个Tomcat。并在浏览器输入如下的URL: 

http://localhost:8080/solr/

http://localhost:8081/solr/

http://localhost:8082/solr/

如果都能正常访问到solr的admin页面,那么说明配置是成功的。否则就需要检查哪里错了或者遗漏了。

 

2.3 配置ZooKeeper集群

这部分的内容与前面tomcat+solr是没有关联的,所以配置这里,可以跟忘记前面的内容。

 

第一步:新建一个文件夹zookeeper-1,并且在下面新建data和datalog目录,解压zookeeper-3.4.6.tar.gz到E:\solrcloud\zookeeper-1目录下。

 

第二步:把E:\solrcloud\zookeeper-1\zookeeper-3.4.6\conf目录下的zoo_sample.cfg修改为zoo.cfg。并写入如下的配置参数:

在data目录中创建文件myid(不需要后缀名),在myid文件中写入数字1并保存退出。

 

第三步:把zookeeper-1复制2份,分别命名为zookeeper-2、zookeeper-3。然后修改各个zookeeper-*的conf目录下zoo.cfg的dataDir和dataLogDir和clientPort。修改方案如下:

  dataDir dataLogDir clientPort
zookeeper-1 E:\solrcloud\zookeeper-1\data E:\solrcloud\zookeeper-1\datalog 2181
zookeeper-2 E:\solrcloud\zookeeper-2\data E:\solrcloud\zookeeper-2\datalog 2182
zookeeper-3 E:\solrcloud\zookeeper-3\data E:\solrcloud\zookeeper-3\datalog 2183

 并且修改每个data目录下的myid文件中的内容。zookeeper-1是1, zookeeper-2是2,zookeeper-3是3 。

 

第四步:启动三个zookeeper。并验证是否配置成功。目录结构以及启动目录如下图:

 

注意:连接第一台时有异常信息,不用管,等都连接起来就没有异常了。

进入cmd 命令,输入: netstat -ano|findstr 2181 查看端口是否启用

2.4搭建Tomcat8+ solr-5.5.1+zookeeper3.4.6集群

前面tomcat+solr能够启动和访问了,而且zookeeper也能启动成功了。接下来就需要把他们关联起来。大家看那么多贴子应该知道(当然不知道也要记住这个知识点):solrcloud 的所有配置 需要zookeeper统一管理。

第一步: 将需要的配置库 集中放到一个目录中。

在E:\solrcloud 下创建cloud_conf文件夹作为配置库,将solr-5.5.1\server\ solr\configsets\sample_techproducts_configs\conf 下配置文件复制到cloud_conf文件夹中。(也可以使用solr-5.2.1\example\example-DIH\solr\solr\conf中的配置文件)

第二步: 配置zookeeper路径

在E:\solrcloud\tomcat8-1\bin\catalina.bat文件中, 我是在 setlocal 上一行添加:

如下图:

 

set JAVA_OPTS=-Dbootstrap_confdir=E:/solrcloud/cloud_conf -Dcollection.configName=myconf -DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 -DnumShards=3

配置参数解释:

-DzkHost是用来指定zookeeper服务器的ip和端口。

-Dnumshareds=3 用来指定当前集群中分片数为3

-Dcollection.configName   是在指定你的配置文件上传到zookeeper后的名字,省略这个参数将导致配置名字为默认的“configuration1”

-Dbootstrap_confdir :zooKeeper需要准备一份集群配置的副本,所以这个参数是告诉SolrCloud这些 配置是放在哪里。同时作为整个集群共用的配置文件。可以看作是第一份solr配置。因为后续我们可以通过上传,来实现多collection。

其余tomcat8-* catalina.bat设置

set JAVA_OPTS= -DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

 

linux下tomcat8-* catalina.sh设置跟windows格式不一样

JAVA_OPTS="$JAVA_OPTS -DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"

 

第三步:  因为配置由zookeeper 统一管理了,所以home下面的solr配置就不起使用了。 删除solr_home_*\home\solr文件夹, 修改配置solr.xml。

 

hostPort 修改为对应的tomcat端口号 8080 8081 8082

第四步:重启tomcat。访问任务一个端口都成,比如: http://localhost:8081, 能正常访问,且菜单中,出现了Cloud说明我们已经部署成功了

 

接下来分别从Core Admin创建一个Core,输入 name , instanceDir, collection, shard,点击AddCore。 说明下,当collection 名称样的core 索引是通用的。(反之collection不一样则索引之前不可相互访问了)

即 你在 new_core 下面创建的索引,在new_core1下面也是能够查询到的。 当我们创建完core之后,分支图就已经出现了。如下:

 

 

 

2.5常用命令

通过REST接口来创建Collection

http://192.168.175.1:8080/solr/admin/collections?action=CREATE&name=mycollection1&numShards=3&replicationFactor=1

下面对已经创建的初始分片进行复制

http://192.168.175.1:8080/solr/admin/cores?action=CREATE&collection=mycollection&name=mycollection_shard1_replica1&shard=shard1

上传另一份collection配置文件

在window cmd模式:

java -classpath .;E:\solrcloud\solr_home_1\server\solr\WEB-INF\lib\* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 -confdir E:\solrcloud\cloud_conf -confname mycollection1

命令说明:

上传(upconfig) 到指定的服务(-zkhost 27.0.0.1:2181, 127.0.0.1:2182, 127.0.0.1:2183)  配置文件路径(-confdir):E:\solrcloud\cloud_conf。 配置名称(-confname)为: mycollection1

 

 注: 要添加 E:\solrcloud\solr_home_1\server\solr\WEB-INF\lib\* cmd才能识别  org.apache.solr.cloud.ZkCLI 的命令。

 

删除collection

java -classpath .;E:\solrcloud\solr_home_1\server\solr\WEB-INF\lib\* org.apache.solr.cloud.ZkCLI -cmd clear /configs/mycollection1 -zkhost 127.0.0.1:2181,127.0.0.1:2281,127.0.0.1:2381

 

删除所有

java -classpath .;E:\solrcloud\solr_home_1\server\solr\WEB-INF\lib\* org.apache.solr.cloud.ZkCLI -cmd clear /configs -zkhost 127.0.0.1:2181,127.0.0.1:2281,127.0.0.1:2381

 

2.6solrj链接solrcloud

        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
            <version>5.5.0</version>
        </dependency>
package com.demo;



import org.apache.solr.client.solrj.SolrClient;

import org.apache.solr.client.solrj.SolrQuery;

import org.apache.solr.client.solrj.SolrServerException;

import org.apache.solr.client.solrj.impl.CloudSolrClient;

import org.apache.solr.client.solrj.response.QueryResponse;

import org.apache.solr.common.SolrDocument;

import org.apache.solr.common.SolrDocumentList;

import org.apache.solr.common.SolrInputDocument;



import java.io.IOException;

import java.util.ArrayList;

import java.util.Collection;



/**

* Created by liuxun on 2016/6/14.

*/

public class solrDemo {

private static CloudSolrClient cloudSolrClient;



private static synchronized CloudSolrClient getCloudSolrClient(final String zkHost) {

if (cloudSolrClient == null) {

try {

cloudSolrClient = new CloudSolrClient(zkHost);

} catch (Exception e) {

e.printStackTrace();

}

}

return cloudSolrClient;

}

private static void addIndex(SolrClient solrClient) {

try {

SolrInputDocument doc1 = new SolrInputDocument();

doc1.addField("id", "421245251215121452521251");

doc1.addField("name", "张三");

doc1.addField("description", "张三是个农民,勤劳致富,奔小康");



SolrInputDocument doc2 = new SolrInputDocument();

doc2.addField("id", "4224558524254245848524243");

doc2.addField("name", "李四");

doc2.addField("description", "李四是个企业家,白手起家,致富一方");



SolrInputDocument doc3 = new SolrInputDocument();

doc3.addField("id", "2224558524254245848524299");

doc3.addField("name", "王五");

doc3.addField("description", "王五好吃懒做,溜须拍马,跟着李四,也过着小康的日子");



Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();

docs.add(doc1);

docs.add(doc2);

docs.add(doc3);

solrClient.add(docs);

solrClient.commit();

} catch (SolrServerException e) {

System.out.println("Add docs Exception !!!");

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} catch (Exception e) {

System.out.println("Unknowned Exception!!!!!");

e.printStackTrace();

}

}

public static void search(SolrClient solrClient, String String) {

SolrQuery query = new SolrQuery();

query.setQuery(String);

// query.setParam("shards.tolerant", true);

try {

QueryResponse response = solrClient.query(query);

SolrDocumentList docs = response.getResults();



System.out.println("文档个数:" + docs.getNumFound());

System.out.println("查询时间:" + response.getQTime());



for (SolrDocument doc : docs) {

String id = (String) doc.getFieldValue("id");

String name = (String) doc.getFieldValue("name");

String desc = (String) doc.getFieldValue("description");

System.out.println("id: " + id);

System.out.println("name: " + name);

System.out.println("description: " + desc);

System.out.println();

}

} catch (SolrServerException e) {

e.printStackTrace();

} catch (Exception e) {

System.out.println("Unknowned Exception!!!!");

e.printStackTrace();

}

}

public void deleteAllIndex(SolrClient solrClient) {

try {

solrClient.deleteByQuery("*:*");// delete everything!

solrClient.commit();

} catch (SolrServerException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} catch (Exception e) {

System.out.println("Unknowned Exception !!!!");

e.printStackTrace();

}

}

public static void main(String[] args) {

try {

final String zkHost = "127.0.0.1:2181";

final String defaultCollection = "mycollection";

final int zkClientTimeout = 20000;

final int zkConnectTimeout = 1000;



CloudSolrClient cloudSolrClient = getCloudSolrClient(zkHost);

System.out.println("The Cloud cloudSolrClient Instance has benn created!");

cloudSolrClient.setDefaultCollection(defaultCollection);

cloudSolrClient.setZkClientTimeout(zkClientTimeout);

cloudSolrClient.setZkConnectTimeout(zkConnectTimeout);

cloudSolrClient.connect();

System.out.println("The cloud Server has been connected !!!!");

//创建索引

solrDemo.addIndex(cloudSolrClient);

System.out.println("create index end!!!");

//查询

solrDemo.search(cloudSolrClient, "name:李");

cloudSolrClient.close();

} catch (Exception e) {

e.printStackTrace();

}

}

}

 

 

 

© 著作权归作者所有

共有 人打赏支持
燃點
粉丝 17
博文 9
码字总数 7933
作品 0
海淀
私信 提问
【solr5.5环境搭建】在tomcat8里面部署solr5.5

1.准备基础环境 基于jdk1.7+tomcat8 +windows7,这里这些东西的配置就不说了 2.去官网下载solr5.5zip的包 http://mirror.bit.edu.cn/apache/lucene/solr/5.5.0/,选择zip的包,然后下载到本地...

ALAI丶
2016/02/25
10.1K
18
服务器(5)--搭建Solr集群+搭建Zookeeper集群(下篇)

背景:看完《服务器(5)--搭建Solr集群+搭建Zookeeper集群(上篇)》是不是很想知道,Solr集群的搭建过程,别急别急,下面就给大家详细的介绍一下Solr集群的搭建过程。 一、Solr集群的搭建 第...

u013043341
2017/06/04
0
0
Solr初探(6)——SolrCloud

Solr集群,即是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 。 当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高...

yuanlaijike
04/12
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0
Java之品优购部署_day01(5)

SolrCloud 2.1 SolrCloud 简介 2.1.1 什么是 SolrCloud SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数...

我是小谷粒
07/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

内存性能的正确解读

一台服务器,不管是物理机还是虚拟机,必不可少的就是内存,内存的性能又是如何来衡量呢。 1. 内存与缓存 现在比较新的CPU一般都有三级缓存,L1 Cache(32KB-256KB),L2 Cache(128KB-2MB)...

阿里云官方博客
3分钟前
0
0
并发+超时示例

func installMantisAgent() {log.Println("begin auto repair mantis agent")num := 0succNum := 0failNum := 0var Q *queue.Queueswitch g.Config().RepairType {ca......

我爱吃葱花
16分钟前
1
0
增加一列自增id

ALTER TABLE xxxx ADD iSiteId INT(11) NOT NULL PRIMARY KEY AUTO_INCREMENT FIRST;

colin_86
25分钟前
3
0
安卓代码混淆

Proguard是安卓提供的方便开发者对代码和apk进行保护和精简的工具,可在SDK/tools文件夹下找到。 proguard的作用 : 1,代码混淆 2,精简代码,删掉没有用到的代码,减小apk的体积。 使用场景...

whoisliang
34分钟前
1
0
配置Tomcat虚拟主机

12月13日任务 16.4 配置Tomcat监听80端口 16.5/16.6/16.7 配置Tomcat虚拟主机 16.8 Tomcat日志 配置tomcat监听80端口 默认tomcat监听的是8080端口,如果想直接输入ip就访问到网页,就需要进行...

robertt15
40分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部