文档章节

dataimport

 开心小主
发布于 2015/06/16 17:06
字数 392
阅读 19
收藏 0

solr发布起来以后,

  1. copy一个collection1作为自己的例子,并命名job;


2.修改job下的core.properties如下:

name=job

config=solrconfig.xml  

schema=schema.xml  

dataDir=data  

3.在job/conf/solrconfig.xml中配置

<script>alert(1)</script>

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">      <lst name="defaults">          <str name="config">data-config.xml</str>      </lst> </requestHandler>

一个dataimport的handler,指定数据源:data-config.xml

4.在job/conf/data-config.xml中配置数据源

<dataConfig>  <dataSource type="JdbcDataSource"              driver="com.mysql.jdbc.Driver"              url="jdbc:mysql://115.231.888.xxx:3306/***?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&zeroDateTimeBehavior=convertToNull"              user="****"              password="****"              batchSize="-1" autoCommit="true"/>  <document>    <entity name="job" pk="job_id"          query="SELECT job_id, a.shop_id, b.shop_company, b.shop_name,b.shop_logo,b.people_scale_start, b.people_scale_end, f.industry_name, a.position_id, c.position_name, a.job_name, a.month_pay_start, a.month_pay_end, a.job_goodness, a.welfare_mark, a.job_about, a.gender, a.area_id, d.full_name AS area_name, a.job_require_start, a.job_require_end, a.degree_id, e.degree_name, a.job_desc, a.update_date FROM jobs.org_shop_job a, jobs.org_shop_base b, jobs.conf_position c, jobs.conf_area d, jobs.conf_degree e, jobs.conf_industry f WHERE a.is_enabled = 1 AND a.shop_id = b.shop_id AND a.position_id = c.position_id AND a.area_id = d.area_id AND a.degree_id = e.degree_id AND b.industry_id = f.industry_id">  <field column="job_id" name="job_id"/>  <field column="shop_name" name="shop_name" />  <field column="shop_logo" name="shop_logo" />  <field column="shop_company" name="shop_company" />  <field column="people_scale_start" name="people_scale_start" />  <field column="people_scale_end" name="people_scale_end" />  <field column="position_id" name="position_id"  />  <field column="position_name" name="position_name" />  <field column="job_name" name="job_name" />  <field column="job_goodness" name="job_goodness" />  <field column="job_about" name="job_about"/>  <field column="gender"  name="gender" />  <field column="welfare_mark" name="welfare_mark"  />  <field column="industry_name" name="industry_name" />  <field column="month_pay_start" name="month_pay_start"  />  <field column="month_pay_end" name="month_pay_end" />  <field column="area_id" name="area_id" />  <field column="area_name" name="area_name" />  <field column="degree_id" name="degree_id" />  <field column="degree_name" name="degree_name"/>  <field column="job_require_start" name="job_require_start"  />  <field column="job_require_end" name="job_require_end" />  <field column="update_date" name="update_date" />  <field column="job_desc" name="job_desc" />    </entity>  </document></dataConfig>

5.修改schema.xml,其实schema.xml我不是很懂,简略过;

6.执行dataimport--excute,就可以建立索引了;


再dataimport过程中遇到很多的问题,解决方案主要如下;

  1. http://leil.info/archives/solr-4-3%E7%9A%84%E4%B8%80%E4%BA%9B%E9%94%99%E8%AF%AF%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

  2. http://blog.csdn.net/jaylong35/article/details/9031075


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 856
作品 0
杭州
私信 提问
Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题。但是,换成一千九百万数据时,solr报内存异常(java.lang.OutOfMemoryError:GC overhead limit...

皮蛋瘦肉粥里没有粥
2016/01/13
58
0
Solr Jetty 部署入门之: Dataimport

一、DownLoad solr: http://lucene.apache.org/solr/ 最新版本的会比较好一点,例子也比较清晰。 solr-4.10.4-src.tgz solr-4.10.4tgz solr-4.10.4.zip(5.2的dataimport没成功改用4.10.4)...

GoogleFan
2015/06/14
0
0
无法启动solr定时任务

按照网上搜出的标准步骤配置后 定时任务一直无法启动,在提供的界面上手动点击 我的solr版本4.9,我的tomcat版本 7 我的配置步骤 1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的...

与常理相悖
2015/08/03
353
0
DIH-增量导入总结

1、将solr-dataimporthandler-4.10.4.jar、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-config.xml solrc......

Zero零_度
2015/09/05
87
0
DIH-全量导入总结

1、将solr-dataimporthandler-4.10.4.jar(solr自带)、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-conf......

Zero零_度
2015/09/05
68
0

没有更多内容

加载失败,请刷新页面

加载更多

node上的redis调用优化示例

Node.js读写数据到influxDB,目前已经有一个库node-influx, 这个库功能非常强大,但是我个人使用这个库的时候,遇到无法解决的问题。 使用curl都可以写数据到influxDB,但是用node-influx总是...

前端攻城老湿
9分钟前
1
0
The setting logImpl is not known

问题: org.apache.ibatis.builder.BuilderException: The setting logImpl is not known. Make sure you spelled it correctly (case sensitive). MyBatis 3.1.1 -jar还没有 logImpl 这个设......

晨猫
21分钟前
1
0
eslint一些规则

一、指定js文件不使用 ESLint 语法检查 1.整个文件范围内禁止规则出现警告 将/* eslint-disable */放置于文件最顶部 /* eslint-disable */alert('foo'); 2.在文件中临时禁止规则出现警告 ...

xiaoge2016
21分钟前
1
0
mac终端常用命令

ls ls,list的简写,列出目录的内容。 -a:显示隐藏文件 -l:以列表方式显示文件信息 -h:配合-l,显示更人性化 配合通配符使用 ls *.txt:显示所有以.txt结尾的文件 ls ?.txt:显示‘任意字符.tx...

xiaobai1315
23分钟前
1
0
java命令行读取配置,和加载jar的方式

--spring.profiles.active=t2,t3,xextest --spring.profiles.include=quartz-jp-Djava.ext.dirs=libs-Dspring.config.location=/data/apps/DBconfig -cp  "config/*"  start.sh......

经常把天聊死的胖子
35分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部