文档章节

解决Solr增量导入MySQL数据的问题

go2school
 go2school
发布于 2014/11/19 10:34
字数 208
阅读 1283
收藏 6

步骤一:在solrconfig.xml中插入一个新的requestHandler,增加如下几行

<requestHandler name="/dataimportcommentdelta" class="org.apache.solr.handler.dataimport.DataImportHandler"> 
<lst name="defaults"> 
<str name="config">data-config-comment-delta.xml</str>    
</lst> 
</requestHandler>
 


步骤二:编写data-config-comment-delta.xml,写入如下内容,注意query中的条件,dih.last_index_time,表示solr上一次做索引的时间。Solr执行这个配置的full-import实际上就等价于增量导入数据

<dataConfig>
   <dataSource type="JdbcDataSource" 
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://localhost/mooc" 
              user="root" 
              password="root"/>
   <document>
    <entity name="comment" 
    query="SELECT id, DATE_FORMAT(writetime, '%Y-%m-%dT%TZ') as 'writetime', title from comment WHERE DATE(updatetime) > '${dih.last_index_time}' OR DATE(writetime) > '${dih.last_index_time}">       
       <field column="id" name="id"/>      
       <field column="writetime" name="writetime"/>
       <field column="title" name="title"/>           
    </entity>      
  </document>
</dataConfig>

© 著作权归作者所有

共有 人打赏支持
go2school
粉丝 11
博文 34
码字总数 14674
作品 0
技术主管
私信 提问
加载中

评论(3)

我擦名字限制
我擦名字限制
一个文档,多个实体,如何增量?
go2school
go2school

引用来自“开源中国首席代码检查官”的评论

你好,我想导入点xml数据,遇到点麻烦,你对这块熟吗
我只做过mysql数据库的导入,在Solr网站上应该有XML的配置方法的。
金贞花
金贞花
你好,我想导入点xml数据,遇到点麻烦,你对这块熟吗
solr的DIH操作同步mysql数据

1.创建MySQL数据 CREATE TABLE ( INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '城市编号', INT(10) UNSIGNED NOT NULL COMMENT '省份编号', VARCHAR(25) NULL DEFAULT NULL COMMENT ......

yushiwh
2017/09/28
0
0
Solr配置导入MySQL数据

编写配置文件 1)编写data-config-comment.xml,此文件用于描述如何查询MySQL数据,如何将数据变换导入索引。 假设有一个数据库叫mooc,其中有个表叫comment,代表学生的评论 其中: entity...

go2school
2014/11/12
0
0
技术分享:如何用Solr搭建大数据查询平台

0×00 开头照例扯淡 自从各种脱裤门事件开始层出不穷,在下就学乖了,各个地方的密码全都改成不一样的,重要帐号的密码定期更换,生怕被人社出祖宗十八代的我,甚至开始用起了假名字,我给自己起一...

广岛秋泽
2016/03/30
0
0
Solr6.3服务并从Mysql上导入数据

安装好solr6.3服务,我安装在centos7系统中,在/opt目录下 步骤1: 创建一个core,这里用hubin为例 步骤2: 把mysql所需的jar包(mysql驱动包mysql-connector-java-5.1.38.jar)和solr-6.3....

binhu
2016/11/18
101
1
zhoudong/springboot-solr

springboot-solr 一、项目介绍 Springboot2.1+Solr7.5搭建的企业级搜索平台,项目目前支持文档内容和数据库检索,已经集成分词技术。支持文档内容检索类型包含:pdf、doc、docx、ppt、pptx、...

zhoudong
2018/12/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

乱入Linux界的我是如何学习的

欢迎来到建哥学Linux,咳!咳!咳!开个玩笑哈,我是一个IT男,IT界的入门选手,正在学习Linux。 在之前,一直想进军IT界,学习IT技术,但是苦于没有人指导,也不知道学什么,最开始我自己在...

linuxprobe16
22分钟前
0
0
OSChina 周日乱弹 —— 没时间 没头发 但有钱

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @开源中国总经办主任 :分享齐一的单曲《这个年纪》 《这个年纪》- 齐一 手机党少年们想听歌,请使劲儿戳(这里) @肿肿卷 :我真的可以睡一天...

小小编辑
今天
25
4
Django进阶 1.1 ORM基础—ORM 1.2.1 增删改查之查询 1.2.2 删改增 (1) 1.2.3 删改增 (2)

ORM基础 ORM是Django操作数据库的API,Django的作者将sql语句封装在里面供我们使用。 我们前面还提到过Django提供一个模拟数据库的工具,sqlite,供我们学习测试使用。 如果我们想使用mysql...

隐匿的蚂蚁
今天
3
0
Windows 上安装 Scala

在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 ...

honeymose
今天
3
0
数据库篇多表操作

第1章 多表操作 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系...

stars永恒
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部