文档章节

dataimport

 开心小主
发布于 2015/06/16 17:06
字数 392
阅读 19
收藏 0

solr发布起来以后,

  1. copy一个collection1作为自己的例子,并命名job;


2.修改job下的core.properties如下:

name=job

config=solrconfig.xml  

schema=schema.xml  

dataDir=data  

3.在job/conf/solrconfig.xml中配置

<script>alert(1)</script>

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">      <lst name="defaults">          <str name="config">data-config.xml</str>      </lst> </requestHandler>

一个dataimport的handler,指定数据源:data-config.xml

4.在job/conf/data-config.xml中配置数据源

<dataConfig>  <dataSource type="JdbcDataSource"              driver="com.mysql.jdbc.Driver"              url="jdbc:mysql://115.231.888.xxx:3306/***?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&zeroDateTimeBehavior=convertToNull"              user="****"              password="****"              batchSize="-1" autoCommit="true"/>  <document>    <entity name="job" pk="job_id"          query="SELECT job_id, a.shop_id, b.shop_company, b.shop_name,b.shop_logo,b.people_scale_start, b.people_scale_end, f.industry_name, a.position_id, c.position_name, a.job_name, a.month_pay_start, a.month_pay_end, a.job_goodness, a.welfare_mark, a.job_about, a.gender, a.area_id, d.full_name AS area_name, a.job_require_start, a.job_require_end, a.degree_id, e.degree_name, a.job_desc, a.update_date FROM jobs.org_shop_job a, jobs.org_shop_base b, jobs.conf_position c, jobs.conf_area d, jobs.conf_degree e, jobs.conf_industry f WHERE a.is_enabled = 1 AND a.shop_id = b.shop_id AND a.position_id = c.position_id AND a.area_id = d.area_id AND a.degree_id = e.degree_id AND b.industry_id = f.industry_id">  <field column="job_id" name="job_id"/>  <field column="shop_name" name="shop_name" />  <field column="shop_logo" name="shop_logo" />  <field column="shop_company" name="shop_company" />  <field column="people_scale_start" name="people_scale_start" />  <field column="people_scale_end" name="people_scale_end" />  <field column="position_id" name="position_id"  />  <field column="position_name" name="position_name" />  <field column="job_name" name="job_name" />  <field column="job_goodness" name="job_goodness" />  <field column="job_about" name="job_about"/>  <field column="gender"  name="gender" />  <field column="welfare_mark" name="welfare_mark"  />  <field column="industry_name" name="industry_name" />  <field column="month_pay_start" name="month_pay_start"  />  <field column="month_pay_end" name="month_pay_end" />  <field column="area_id" name="area_id" />  <field column="area_name" name="area_name" />  <field column="degree_id" name="degree_id" />  <field column="degree_name" name="degree_name"/>  <field column="job_require_start" name="job_require_start"  />  <field column="job_require_end" name="job_require_end" />  <field column="update_date" name="update_date" />  <field column="job_desc" name="job_desc" />    </entity>  </document></dataConfig>

5.修改schema.xml,其实schema.xml我不是很懂,简略过;

6.执行dataimport--excute,就可以建立索引了;


再dataimport过程中遇到很多的问题,解决方案主要如下;

  1. http://leil.info/archives/solr-4-3%E7%9A%84%E4%B8%80%E4%BA%9B%E9%94%99%E8%AF%AF%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

  2. http://blog.csdn.net/jaylong35/article/details/9031075


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 856
作品 0
杭州
Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题。但是,换成一千九百万数据时,solr报内存异常(java.lang.OutOfMemoryError:GC overhead limit...

皮蛋瘦肉粥里没有粥
2016/01/13
58
0
Solr Jetty 部署入门之: Dataimport

一、DownLoad solr: http://lucene.apache.org/solr/ 最新版本的会比较好一点,例子也比较清晰。 solr-4.10.4-src.tgz solr-4.10.4tgz solr-4.10.4.zip(5.2的dataimport没成功改用4.10.4)...

GoogleFan
2015/06/14
0
0
无法启动solr定时任务

按照网上搜出的标准步骤配置后 定时任务一直无法启动,在提供的界面上手动点击 我的solr版本4.9,我的tomcat版本 7 我的配置步骤 1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的...

与常理相悖
2015/08/03
353
0
DIH-增量导入总结

1、将solr-dataimporthandler-4.10.4.jar、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-config.xml solrc......

Zero零_度
2015/09/05
87
0
DIH-全量导入总结

1、将solr-dataimporthandler-4.10.4.jar(solr自带)、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-conf......

Zero零_度
2015/09/05
68
0

没有更多内容

加载失败,请刷新页面

加载更多

在Debian 9系统上安装Mysql数据库的方法教程

前言 看到题目大家应都会想,在 Debian 9 上安装 Mysql?那不是很简单的事儿吗?直接 sudo apt install mysql-server 不就行了吗? 没想到遇到了几个之前没遇到的问题,耽误了不少时间。 原来...

临江仙卜算子
40分钟前
2
0
从web实时通信讲H5 WebSocket

通常我们打开一个浏览器访问网页时,都会向页面所在的服务器发送一个HTTP请求,然后web服务器确认请求并向浏览器做出响应。简单的说,就是一个请求对应的一个响应。然而这种方法对许多的应用...

Code辉
54分钟前
3
0
Sharding-Sphere自动化执行引擎

Q: 什么叫"自动化执行引擎"? A: 一条SQL的生命周期是:从客户端发起、经过Sharding-Sphere处理、再到底层数据库执行消化。而在Sharding-Sphere里过程则是:SQL解析-->SQL优化-->SQL路由-->...

xiaomin0322
57分钟前
2
0
单模块中ReentrantLock的使用

背景 在单模块应用中,对同一个请求,需要进行同步。注意ReentrantLock的使用场景: 同一个线程中 同一个请求 RestController @RestControllerpublic class Controller {private final Re...

亚林瓜子
58分钟前
2
0
Linux 4.1内核热补丁成功实践

好久不见的干货重现江湖!今日的内容是基于UCloud运维同学反馈的个别宿主机上存在进程CPU峰值使用率异常现象问题进行的相关阐述。本文详细介绍了该问题的完整分析思路和用热补丁的方式成功解...

UCloudTech
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部