文档章节

dataimport

 开心小主
发布于 2015/06/16 17:06
字数 392
阅读 19
收藏 0
点赞 0
评论 0

solr发布起来以后,

  1. copy一个collection1作为自己的例子,并命名job;


2.修改job下的core.properties如下:

name=job

config=solrconfig.xml  

schema=schema.xml  

dataDir=data  

3.在job/conf/solrconfig.xml中配置

<script>alert(1)</script>

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">      <lst name="defaults">          <str name="config">data-config.xml</str>      </lst> </requestHandler>

一个dataimport的handler,指定数据源:data-config.xml

4.在job/conf/data-config.xml中配置数据源

<dataConfig>  <dataSource type="JdbcDataSource"              driver="com.mysql.jdbc.Driver"              url="jdbc:mysql://115.231.888.xxx:3306/***?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&zeroDateTimeBehavior=convertToNull"              user="****"              password="****"              batchSize="-1" autoCommit="true"/>  <document>    <entity name="job" pk="job_id"          query="SELECT job_id, a.shop_id, b.shop_company, b.shop_name,b.shop_logo,b.people_scale_start, b.people_scale_end, f.industry_name, a.position_id, c.position_name, a.job_name, a.month_pay_start, a.month_pay_end, a.job_goodness, a.welfare_mark, a.job_about, a.gender, a.area_id, d.full_name AS area_name, a.job_require_start, a.job_require_end, a.degree_id, e.degree_name, a.job_desc, a.update_date FROM jobs.org_shop_job a, jobs.org_shop_base b, jobs.conf_position c, jobs.conf_area d, jobs.conf_degree e, jobs.conf_industry f WHERE a.is_enabled = 1 AND a.shop_id = b.shop_id AND a.position_id = c.position_id AND a.area_id = d.area_id AND a.degree_id = e.degree_id AND b.industry_id = f.industry_id">  <field column="job_id" name="job_id"/>  <field column="shop_name" name="shop_name" />  <field column="shop_logo" name="shop_logo" />  <field column="shop_company" name="shop_company" />  <field column="people_scale_start" name="people_scale_start" />  <field column="people_scale_end" name="people_scale_end" />  <field column="position_id" name="position_id"  />  <field column="position_name" name="position_name" />  <field column="job_name" name="job_name" />  <field column="job_goodness" name="job_goodness" />  <field column="job_about" name="job_about"/>  <field column="gender"  name="gender" />  <field column="welfare_mark" name="welfare_mark"  />  <field column="industry_name" name="industry_name" />  <field column="month_pay_start" name="month_pay_start"  />  <field column="month_pay_end" name="month_pay_end" />  <field column="area_id" name="area_id" />  <field column="area_name" name="area_name" />  <field column="degree_id" name="degree_id" />  <field column="degree_name" name="degree_name"/>  <field column="job_require_start" name="job_require_start"  />  <field column="job_require_end" name="job_require_end" />  <field column="update_date" name="update_date" />  <field column="job_desc" name="job_desc" />    </entity>  </document></dataConfig>

5.修改schema.xml,其实schema.xml我不是很懂,简略过;

6.执行dataimport--excute,就可以建立索引了;


再dataimport过程中遇到很多的问题,解决方案主要如下;

  1. http://leil.info/archives/solr-4-3%E7%9A%84%E4%B8%80%E4%BA%9B%E9%94%99%E8%AF%AF%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

  2. http://blog.csdn.net/jaylong35/article/details/9031075


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 856
作品 0
杭州
Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题。但是,换成一千九百万数据时,solr报内存异常(java.lang.OutOfMemoryError:GC overhead limit...

皮蛋瘦肉粥里没有粥
2016/01/13
58
0
Solr Jetty 部署入门之: Dataimport

一、DownLoad solr: http://lucene.apache.org/solr/ 最新版本的会比较好一点,例子也比较清晰。 solr-4.10.4-src.tgz solr-4.10.4tgz solr-4.10.4.zip(5.2的dataimport没成功改用4.10.4)...

GoogleFan
2015/06/14
0
0
无法启动solr定时任务

按照网上搜出的标准步骤配置后 定时任务一直无法启动,在提供的界面上手动点击 我的solr版本4.9,我的tomcat版本 7 我的配置步骤 1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的...

与常理相悖
2015/08/03
353
0
DIH-增量导入总结

1、将solr-dataimporthandler-4.10.4.jar、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-config.xml solrc......

Zero零_度
2015/09/05
87
0
DIH-全量导入总结

1、将solr-dataimporthandler-4.10.4.jar(solr自带)、mysql-connector-java-5.1.23.jar拷贝到/WEB-INF/lib/下 2、修改homesolrcollection1confsolrconfig.xml、schema.xml,创建data-conf......

Zero零_度
2015/09/05
68
0
Solr 数据导入快速入门

原文出处:http://blog.chenlb.com/2010/03/solr-data-import-quick-start.html 大概在 solr 1.3 刚出来的时候(2008 年底)就用过 DataImportHandler(DIH),当时觉得很方便的。后来由于有好...

红薯
2010/04/08
5.9K
6
solr的DIH操作同步mysql数据

1.创建MySQL数据 CREATE TABLE ( INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '城市编号', INT(10) UNSIGNED NOT NULL COMMENT '省份编号', VARCHAR(25) NULL DEFAULT NULL COMMENT ......

yushiwh
2017/09/28
0
0
【转】Solr从数据库导入数据(DIH)

  本文转自:http://blog.csdn.net/xiaoyu714543065/article/details/11849115 一. 数据导入(DataImportHandler-DIH) DIH 是solr 提供的一种针对数据库、xml/HTTP、富文本对象导入到solr ...

无声胜有声
2015/12/16
0
0
solr 创建索引失败

最近在研究solr搜索,现在环境配置(resin+solr+mysql)都配好了,能够查询出数据库里数据情况,但是不能建立索引,希望大侠能指教下。相关配置文件主要内容如下 solrconfig.xml: data-con...

testzhang
2015/01/21
1K
2
solr中dataimport的api

现在solr已经配置好数据源,是一个单独的应用 而我在另外个项目中怎么用代码是执行相当于solr管理工具上的dataimport中的fullimport操作 求助各位大神指导下

owenor
2014/09/18
129
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

AngularJs $resource 高大上的数据交互

$resource 创建一个resource对象的工厂函数,可以让你安全的和RESFUL服务端进行数据交互。 需要注入 ngResource 模块。angular-resource[.min].js 默认情况下,末尾斜杠(可以引起后端服务器...

孟飞阳
10分钟前
0
0
打印斐波那契数

package com.jerry.ch04;public class PrintFibonacci {public static void main(String[] args) {for (int i=0; i<10; i++) {System.out.print(fib(i) + " ");}......

JerryNing
15分钟前
0
0
shell编程

一、shell脚本介绍

人在艹木中
16分钟前
0
0
istio 0.8 遥测 案例

==============遥测===================================== 演示如何从网格中收集遥测信息。 分布式跟踪。如何配置代理以向Zipkin或Jaeger发送跟踪请求 收集度量标准和日志。此任务说明如何配...

xiaomin0322
18分钟前
0
0
ND4J求多元线性回归以及GPU和CPU计算性能对比

上一篇博客《梯度下降法求多元线性回归及Java实现》简单了介绍了梯度下降法,并用Java实现了一个梯度下降法求回归的例子。本篇博客,尝试用dl4j的张量运算库nd4j来实现梯度下降法求多元线性回...

冷血狂魔
19分钟前
0
0
springboot常用注解

@SpringBootApplication: 包含@Configuration、@EnableAutoConfiguration、@ComponentScan 通常用在主类上。 @Service: 用于标注业务层组件。 @RestController: 用于标注控制层组件(如strut...

GoldenVein
25分钟前
1
0
如何进行大数据的入门级学习?

不知道你是计算机专业应届生还是已经从业者。总之,有java基础的学生学习大数据会轻松很多,零基础的小白都需要从java和linux学起。 如果你是一个学习能力特别强,而且自律性也很强的人的话可...

董黎明
39分钟前
0
0
使用Parcelable传递复杂参数

最近做AIDL传递对象,对象必须实现Parcelable的方法才可以被传递。 @Override    public int describeContents() {//这个 默认返回0就行了。        return 0;    }    ...

火云
40分钟前
0
0
十大Intellij IDEA快捷键

Intellij IDEA中有很多快捷键让人爱不释手,stackoverflow上也有一些有趣的讨论。每个人都有自己的最爱,想排出个理想的榜单还真是困难。以前也整理过Intellij的快捷键,这次就按照我日常开发...

HJCui
50分钟前
0
0
word 使用mathtype 编写 数学公式

下载安装,这个链接命名。。。。 http://www.mathtype.cn/xiazai.html 安装之后会多出一个选项 使用内联方式插入图表 编写公式的界面 设置支持latex 语法 输入公式回车就可以看到结果...

阿豪boy
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部