文档章节

Import data from a database into Solr.

Nathans
 Nathans
发布于 2016/09/13 17:43
字数 782
阅读 39
收藏 0

Data Import

  This tutorial uses Mysql database import data into Solr。

Create table

  node table:

CREATE TABLE `node` (
  `id` varchar(50) NOT NULL,
  `name` varchar(50) NOT NULL COMMENT 'node name',
  `node_size` int(11) NOT NULL COMMENT 'node size',
  `creator_id` varchar(50) NOT NULL COMMENT 'creator Id',
  `parent_id` varchar(50) NOT NULL COMMENT '父节点Id',
  `path` varchar(200) NOT NULL COMMENT '路径',
  `create_time` datetime NOT NULL COMMENT 'create time',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='node';

  node table has tens of thousands of records, test uses only 300.

Full-Import

Create data driven Core

  在Solr Home中Create Core,Solr Home路径为:D:\Environment\apache-tomcat-7.0.37\webapps\solr\solrhome。

  Solr Core 的基础配置文件存放在solr-X.X.X\server\solr\configsets:

  basic_configs为基础core的配置,data_driven_shcema_configs是数据库连接的配置。复制相应的Core配置内容,更改相应的参数即可使用。为了方便此处复制sample_techproducts_configs,因为data_driven_schema_configs中没有schema.xml文件,所以使用sample_techproducts_configs。

Configuration Steps

  1. 在Tomcat的 Solr home 中,Create a new folder named comment;

  2. 在apache-tomcat-8.0.37\webapps\solr\solrhome\cat中,Create a new folder named data;

  3. Copy solr-5.X.X\server\solr\configsets\sample_techproducts_configs\conf to apache-tomcat-7.0.37\webapps\solr\solrhome,as follows:

  4.  Configuration solrconfig.xml

add request handler data import.

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
	<lst name="defaults">
	    <str name="config">db-config.xml</str>
	</lst>
</requestHandler>

  5. Configuration db-config.xml

  此处db-config.xml与solrconfig.xml在同一目录。

<dataConfig>
    <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/solr" 
	user="solr" password="solr" batchSize="-1"/>
    <document>
        <entity name="comment" pk="id" query="select id,name,create_time,node_size,creator_id,parent_id,path from node limit 300">
			<field column="id" name="id" />
            <field column="name" name="name" />
			<field column="create_time" name="createTime"/>
			<field column="node_size" name="nodeSize" />
			<field column="creator_id" name="creatorId" />
			<field column="parent_id" path="parentId" />
			<field column="path" path="path" />
        </entity>
    </document>
</dataConfig>

   6. Configuration schema.xml

   <field name="_version_" type="long" indexed="true" stored="true"/>
   
   <!-- points to the root document of a block of nested documents. Required for nested
      document support, may be removed otherwise
   -->
   <field name="_root_" type="string" indexed="true" stored="false"/>

   <!-- Only remove the "id" field if you have a very good reason to. While not strictly
     required, it is highly recommended. A <uniqueKey> is present in almost all Solr 
     installations. See the <uniqueKey> declaration below where <uniqueKey> is set to "id".
     Do NOT change the type and apply index-time analysis to the <uniqueKey> as it will likely 
     make routing in SolrCloud and document replacement in general fail. Limited _query_ time
     analysis is possible as long as the indexing process is guaranteed to index the term
     in a compatible way. Any analysis applied to the <uniqueKey> should _not_ produce multiple
     tokens
   -->   
   <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
   <field name="name" type="text_ik" indexed="true" stored="true"/>  
   <field name="nodeSize" type="int" indexed="true" stored="true"/> 
   <field name="creatorId" type="text_general" indexed="false" stored="true"/>
   <field name="parentId" type="string" indexed="false" stored="true"/>
   <field name="path" type="text_ik" indexed="true" stored="true"/>
   <field name="createTime" type="date" indexed="true" stored="true"/>

   <!-- defined filedtype -->
   <fieldType name="text_ik" class="solr.TextField">
         <analyzer type="index" class="org.wltea.analyzer.lucene.IKAnalyzer" useSmart="false"/>
         <analyzer type="query" class="org.wltea.analyzer.lucene.IKAnalyzer" useSmart="true"/>
	</fieldType>

  7. 通过Solr 控制台新增Core,但前提是要创建Core文件夹,conf(配置文件夹)、data(索引存储文件夹)、schema.xml(模式配置)和solrconfig.xml(索引配置),注意图上灰色文字。

  8. Create core success,Then Core Seletor select "comment",click Dataimport。

  Command有两种: full-import (全量导入)、delta-import (增量导入)。

  注意:执行delta-import导入的时候不要勾选“clean”,否则会将之前已存在的数据清空。 

  Select Entity 为 "comment",click Execute即可全量导入数据。

  勾选“Auto-Refresh Status”,页面会自动刷新状态,可以从页面右侧看见导入的情况,否则需要手动点击"Refresh Status"。

   Tomcat log as follows:

会出现一段DataImporter Starting Full Import,到执行完毕后会显示DataImporter success。

  9. Data Importer success as follows:

Detal - import

 

© 著作权归作者所有

Nathans
粉丝 6
博文 18
码字总数 28409
作品 0
成都
程序员
私信 提问
Analysis of Apache Solr DataImportHandler Remote Code Execution Vulnerability (CVE-2019-0193)

Author:Longofo@Knownsec 404 Team Time: August 8, 2019 Chinese Version: https://paper.seebug.org/1009/ Introduction On August 1st, 2019, Apache Solr officially released a vulner......

知道创宇404实验室
08/12
0
0
白乔/solr-sql

English Version: https://github.com/bluejoe2008/solr-sql/blob/master/README.md solr-sql solr-sql provides sql interfaces for solr cloud(http://lucene.apache.org/solr/), by which......

白乔
2017/10/12
0
0
(二)solr data import

solr 的 data import 导入 mysql数据 (1)、编辑 example/solr/conf/solrconfig.xml 添加 request handler <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport......

xixicat
2014/03/30
764
0
solr的简单使用

一、解压solr文件 tar -zxvf solr-4.10.4.tgz 二、启动 1、启动方式一 前台启动 cd solr-4.10.4example java -jar start.jar 停止 只能kill掉solr进程 后台启动:java -DSTOP.PORT=8984 -DS...

xiaozhou18
2016/12/07
615
0
基于Solr DIH实现MySQL表数据全量索引和增量索引

实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data ImportHandler)组件,对data-config.xml进行简单的修改即可。SolrDIH组件的实现类为...

Zero零_度
2015/09/05
71
0

没有更多内容

加载失败,请刷新页面

加载更多

领域驱动中的“贫血症和失忆症” --实践领域驱动--原文

贫血症严重危害着人类健康,并且伴随有危险的副作用。当贫血领域对象被首次提出来时,它并不是一个博得赞美的词汇,它描述的是一个缺少内在行为领域对象。奇怪的是,人们对于贫血领域对象的态...

还仙
18分钟前
4
0
条码打印软件中标签预览正常打印无反应怎么解决

在使用条码打印软件制作标签时,有客户反馈,标签打印预览正常的,但是打印无反应,咨询是怎么回事?今天针对这个情况,可以参考以下方法进行解决。 一、预览正常情况下,打印没反应 (1)在条码...

中琅软件
27分钟前
4
0
判断字符串的时候

判断字符串的时候一定把常量房前边, //报警程度 String leve = vo.getDeviceAlertDeal().getWarnLevel(); if(("0").equals(leve)) { row.add("无报警"); }else if(("1").equals(leve)) { ro......

简小姐
28分钟前
5
0
Linux maven3.6.2 install

PS:安装 maven 之前请先安装 jdk 1.安装 wget 命令(安装过就不用了) yum -y install wget 2.寻找需要的 maven 版本 https://maven.apache.org/download.cgi 3.进入 /var/local 文件夹 cd...

东方神祇
30分钟前
4
0
Tomcat源码分析二:先看看Tomcat的整体架构

Tomcat源码分析二:先看看Tomcat的整体架构 Tomcat架构图 我们先来看一张比较经典的Tomcat架构图: 从这张图中,我们可以看出Tomcat中含有Server、Service、Connector、Container等组件,接下...

flygrk
33分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部