加载中
scala的split切分异常

今天使用scala读取用户信息表分析出各个字段,切分的时候出现异常: 两个字段之间的分隔符为***ABC*** 代码: val linerecord = line.split("***ABC***") 然后抛出: Exception in thread "m...

08/31 16:35
7
solr直接对pdf、word等建索引

1.准备solr6.6环境,这里我搭建了3台solr服务的环境 2.配置managed-schema,添加几个测试字段 <field name="literal.path" type="string" multiValued="false" indexed="true" stored="true...

08/12 14:06
4
定时关闭flume收集的文件

问题:我们的项目使用flume收集web产生的日志,输出hdfs上,一天一个文件夹。文件下面就是今天的日志,然后有一个日志分析程序读取每天的日志进行分析,但是日志分析程序一直读不到hdfs上收集...

No active slice servicing hash code" when writing Ranger Audits to Solr

场景介绍:中国裁判文书网hadoop集群中有一台机器因为磁盘损坏导致机器宕机,该机器上面的所有服务都不可用。在对这台机器重新安装系统和对应的服务后,重新加入Hadoop集群,这是需要slave9上...

2018/10/14 16:55
25
hbaseMapper提交报找不到类NoClassDefFoundError

最近写一个hbase的mapper生成hfile文件,但是在执行jar包时,总是报Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan错误,注释掉这个方法...

CDH集群重亲启动报错,相同主机名出现两个

1、今天还原一下,虚拟机的快照文件,重启CDH测试环境,重启后发现,slave2.这个节点在主机管理界面出现两次,然后在“所有运行状况问题”报警提示slave2 的agent状态问题。但集群中的服务动...

2018/07/02 11:43
359
centos7.1系统报错:Error: Too many open files

描述:今天早上使用root用户界面式登录centos7.1那台机器时,第一步通过windows连接认证是通过的,但是在centos7.1那台机器输入密码打开桌面时,一直登录不上,后来想重启一下远程小工具xrd...

2018/06/29 16:14
180
在maven项目工程编写solr代码,需要的依赖

solrJ <dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>6.6.2</version> </dependency> <dependency> <groupId>org.apache.httpcomponents<...

solr建立索引报错

一开始不清楚的情况下,就测试建立索引,然后发现每次提交第二条索引数据时就报错: Exception in thread "main" org.apache.solr.client.solrj.impl.CloudSolrServer$RouteException: Docum...

2018/06/24 15:24
22
B+树索引和Hash索引各自的有点

介绍:目前传统关系型数据库常用的索引类型有B+树和Hash两种,比如MySQL。 1、B+树索引存取方法的选择 所谓选择索引存取方法,实际上就是根据应用要求确定对应关系的哪些属性建立索引、哪些属...

2018/06/20 15:59
18
控制map的任务个数

最近使用mapreduce处理一批数据,但要处理的文件大部分都是几MB的小文件,当任务刚跑起来,发现启动了很多map任务,很影响执行效率。(任务运行在cdh5.13集群对应yarn下) 通过配置mapreduce加...

2018/06/11 22:59
16
centos下统计目录下所有文件的的个数

命令如下: ls -Rl | wc -l 备注: ls --help 会输出 ls的先关参数命令,可以用到时查看。

2018/06/08 16:27
10
eclipse中设置java环境操作

之前eclipse使用的java环境都是1.7,但是后面由于tomcat的要求,编程只能用java1.8的,在此记录一下在eclipse中调整java环境的操作步骤: 1.选择项目名,右键,properties 2.如下 3.如下 4....

2018/06/08 16:24
12
hive创建表、数据库、分区和分桶及其他语句

create table ts01(id int,name string); hive (default)> create table ts02(id int,name string)row format delimited fields terminated by ','、 hive (default)> create table ts03(id...

2018/06/03 21:15
126
solr6.6的Facet和Group之间的区别

1.对字段(域)为多值属性的,即multiValued="true"。 facet是可以对多值属性进行分组的,但是Group是不可以的。 2.对字段(域)为分词属性的,如下:<field name="docText" type="text_ik" ...

2018/05/30 14:57
98
java判断是否为空,正确写法

java判断是否为空 public void addStopWords(String dir){ if(dir==null || "".equals(dir)){ return; } }...

2018/05/24 16:02
23
在classpath下查找data目录下chars.dic文件

在classpath下查找data目录下chars.dic文件 //适合文件在jar包内的情况 this.getClass.getResourceAsStream("/data/chars.dic"); 加载classpath路径下文件的另一种方式,适合被加载文件在jar...

2018/05/24 15:37
6
java定时器之一:Timer

package testwrqpper1.wrapper1; import java.util.Timer; import java.util.TimerTask; import org.apache.log4j.Logger; /** * @author lct E-mail: * @version 创建时间:2018年4月24日 ...

2018/04/25 16:49
17
在本地windows编辑器执行hbase等服务的代码报java.io.IOException: Could not locate executable null\bin\winutils.exe in

这个主要是本地缺少winutils包导致,但是没有这个包程序执行可能会抛出异常但不会影响程序正常执行完成。 解决这个问题其实也比较简单: 在本地windows环境的C:\Windows\System32目录下把win...

2018/04/13 17:19
16
修改cdh集群ip地址(mysql)

公司新买的一批机器,在公司安装好环境后要搬到第三方机房,到机房后要修改ip地址,所以就百度查一下相关的资料,并参考了一位已经做成功的博客。 1.先关闭cdh集群,和cloudera manager serv...

2018/03/29 17:37
98

没有更多内容

加载失败,请刷新页面

返回顶部
顶部