文档章节

dataimport

 开心小主
发布于 2015/06/16 17:06
字数 392
阅读 19
收藏 0

solr发布起来以后,

  1. copy一个collection1作为自己的例子,并命名job;


2.修改job下的core.properties如下:

name=job

config=solrconfig.xml  

schema=schema.xml  

dataDir=data  

3.在job/conf/solrconfig.xml中配置

<script>alert(1)</script>

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">      <lst name="defaults">          <str name="config">data-config.xml</str>      </lst> </requestHandler>

一个dataimport的handler,指定数据源:data-config.xml

4.在job/conf/data-config.xml中配置数据源

<dataConfig>  <dataSource type="JdbcDataSource"              driver="com.mysql.jdbc.Driver"              url="jdbc:mysql://115.231.888.xxx:3306/***?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&zeroDateTimeBehavior=convertToNull"              user="****"              password="****"              batchSize="-1" autoCommit="true"/>  <document>    <entity name="job" pk="job_id"          query="SELECT job_id, a.shop_id, b.shop_company, b.shop_name,b.shop_logo,b.people_scale_start, b.people_scale_end, f.industry_name, a.position_id, c.position_name, a.job_name, a.month_pay_start, a.month_pay_end, a.job_goodness, a.welfare_mark, a.job_about, a.gender, a.area_id, d.full_name AS area_name, a.job_require_start, a.job_require_end, a.degree_id, e.degree_name, a.job_desc, a.update_date FROM jobs.org_shop_job a, jobs.org_shop_base b, jobs.conf_position c, jobs.conf_area d, jobs.conf_degree e, jobs.conf_industry f WHERE a.is_enabled = 1 AND a.shop_id = b.shop_id AND a.position_id = c.position_id AND a.area_id = d.area_id AND a.degree_id = e.degree_id AND b.industry_id = f.industry_id">  <field column="job_id" name="job_id"/>  <field column="shop_name" name="shop_name" />  <field column="shop_logo" name="shop_logo" />  <field column="shop_company" name="shop_company" />  <field column="people_scale_start" name="people_scale_start" />  <field column="people_scale_end" name="people_scale_end" />  <field column="position_id" name="position_id"  />  <field column="position_name" name="position_name" />  <field column="job_name" name="job_name" />  <field column="job_goodness" name="job_goodness" />  <field column="job_about" name="job_about"/>  <field column="gender"  name="gender" />  <field column="welfare_mark" name="welfare_mark"  />  <field column="industry_name" name="industry_name" />  <field column="month_pay_start" name="month_pay_start"  />  <field column="month_pay_end" name="month_pay_end" />  <field column="area_id" name="area_id" />  <field column="area_name" name="area_name" />  <field column="degree_id" name="degree_id" />  <field column="degree_name" name="degree_name"/>  <field column="job_require_start" name="job_require_start"  />  <field column="job_require_end" name="job_require_end" />  <field column="update_date" name="update_date" />  <field column="job_desc" name="job_desc" />    </entity>  </document></dataConfig>

5.修改schema.xml,其实schema.xml我不是很懂,简略过;

6.执行dataimport--excute,就可以建立索引了;


再dataimport过程中遇到很多的问题,解决方案主要如下;

  1. http://leil.info/archives/solr-4-3%E7%9A%84%E4%B8%80%E4%BA%9B%E9%94%99%E8%AF%AF%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

  2. http://blog.csdn.net/jaylong35/article/details/9031075


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 856
作品 0
杭州
私信 提问
Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题。但是,换成一千九百万数据时,solr报内存异常(java.lang.OutOfMemoryError:GC overhead limit...

皮蛋瘦肉粥里没有粥
2016/01/13
58
0
Solr Jetty 部署入门之: Dataimport

一、DownLoad solr: http://lucene.apache.org/solr/ 最新版本的会比较好一点,例子也比较清晰。 solr-4.10.4-src.tgz solr-4.10.4tgz solr-4.10.4.zip(5.2的dataimport没成功改用4.10.4)...

GoogleFan
2015/06/14
0
0
DIH-增量导入总结

1、将solr-dataimporthandler-4.10.4.jar、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-config.xml solrc......

Zero零_度
2015/09/05
87
0
DIH-全量导入总结

1、将solr-dataimporthandler-4.10.4.jar(solr自带)、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-conf......

Zero零_度
2015/09/05
68
0
无法启动solr定时任务

按照网上搜出的标准步骤配置后 定时任务一直无法启动,在提供的界面上手动点击 我的solr版本4.9,我的tomcat版本 7 我的配置步骤 1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的...

与常理相悖
2015/08/03
418
0

没有更多内容

加载失败,请刷新页面

加载更多

Flink 幕后之内存管理

Flink 幕后之内存管理 引言 目前很多大数据处理框架,例如Hadoop、Spark、Storm、Flink等。它们都基于JVM语言开发(java or scala),运行在JVM上。为了加速合并或者排序(基于磁盘的方式通常...

moyiguke
13分钟前
1
0
风起云涌,看云计算如何赋能媒体行业?

在媒体行业的转型升级中,云计算的出现多维度促进了媒体融合,打破传统媒体行业与新媒体的界限和竞争格局,在媒体素材管理、移动端功能演进的过程中扮演着重要角色,颠覆了传统媒体新闻采编、...

七牛云
16分钟前
0
0
Mybatis开发遇到问题汇总

mybatis 中![CDATA[...]] 在今天使用Mybatis的xml文件中写sql语句时写入了一些特殊字符 如 < > & 等,但解析xml文件的时候会被转义,事实上并不希望它被转义,可以使用<![CDATA[ ]]>. 这是XML...

wangwei2134
24分钟前
0
0
参数验证 @Validated 和 @Valid 的区别

来源:blog.csdn.net/qq_27680317/article/details/79970590 整编:Java技术栈(公众号ID:javastack) Spring Validation验证框架对参数的验证机制提供了@Validated(Spring's JSR-303 规范......

Java技术栈
27分钟前
0
0
JS实现继承的几种方式

前言 JS作为面向对象的弱类型语言,继承也是其非常强大的特性之一。那么如何在JS中实现继承呢?让我们拭目以待。 JS继承的实现方式 既然要实现继承,那么首先我们得有一个父类,代码如下: ...

不负好时光
31分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部