文档章节

手工安装hadoop ecosystem之疑难杂症

pearma
 pearma
发布于 2017/01/17 15:47
字数 869
阅读 20
收藏 0

手工安装hive时,选择下载prebuild包,按照官网方法展开包之后,执行hive,报metastore相关错误。

原因就是官网包展开后,多了一个metastore_db目录。解决的办法如下:

rm -rf metastore_db
schematool -dbType derby -initSchema

这样会重新产生正确的metastore信息,此时再执行hive就可以了。

在hive的配置文件中(hive-site.xml),一定要设置好,默认是用环境变量的,但是那个环境变量特别怪。

hive.exec.scratchdir=/tmp/mydir;

如果使用beeline时,提示root is not allowed to impersonate root的错误,解决的方法是修改hadoop配置文件core-site.xml,添加如下:

<property>  
        <name>hadoop.proxyuser.hadoop.groups</name>  
        <value>*</value>  
        <description>Allow the superuser oozie to impersonate any members of the group group1 and group2</description>  
</property>  
<property>  
        <name>hadoop.proxyuser.hadoop.hosts</name>  
        <value>*</value>  
        <description>The superuser can connect only from host1 and host2 to impersonate a user</description>  
</property>  

注:如果是root is not allowed to impersonate root , 要把上面配置信息中的hadoop替换成root

JPS找不到是什么情况?

在安装hadoop生态系统软件时,经常会提到用jps来查看java 进程。但是如果运行jps,系统提示找不到文件的话,就要看看jps是否在系统路径当中了。

一般来说,如果系统里装的是jdk的话,那么jps就保存在jdk_home/bin下;如果装的是jre的话,那么jps就保存在jre_home/bin下

ZooKeeper启动失败,提示 Could not find my address: xyz in list of ZooKeeper quorum servers 是怎么回事?

遇到这个问题,就要去修改hbase-site.xml,把hbase.zookeeper.quorum这个条目下的value,换成出错提示里的主机名。

例如在hosts文件里,可以写 10.0.0.1 xyz master . 此时,你用master, xyz都可以指代同一台主机。但是在hbase-site.xml 里,你必须写xyz,而不能用master,否则就会提示不匹配。

Zeppelin 启动后,日志提示错误,页面无法打开,是怎么回事?

我安装了Zeppelin 0.7之后,启动服务,日志里出现以下错误:

WARN [2017-02-08 17:16:35,044] ({main} ContextHandler.java[log]:2062) - unavailable
javax.servlet.ServletException: Resource class org.apache.zeppelin.server.ZeppelinServer can not be instantiated due to InvocationTargetException

然后访问页面,提示503错误。

原因居然是我的classpath内容太多了。之前为了使用microsoft r server ,手工设置了classpath环境变量,往里面添加了很多路径。运行zeppelin的时候 ,脚本在已有classpath后添加了zeppelin相关jar,估计是发生冲突了,所以导致启动服务的时候,失败。

将手工配置的classpath置空,然后重新运行zepplin-daemon.sh start,虽然日志里仍然报错,不过都是报一些插件找不到的错误,页面已经可以正常访问了。

hue提示numpy没有安装

SuSE Linux 12装了python 2.7,但是没有装numpy包。安装的方法是:

zypper installl python-numpy

装好以后,在hue里就不提示numpy错误了。

R装好之后,如何安装扩展包?

在SuSE Linux上装好R-base之后,本来可以通过install.packages来安装扩展包。但是仍然有一些坑,需要注意。

R支持使用 proxy下载,但是R有多种下载模式,例如curl,wget等。不同的模式,结果差异很大。例如我一开始使用默认选项,install.packages("abc"),直接就告诉我找不到abc。直到采用以下命令:

install.packages("devtools",repos="http://cran.r-project.org/",method="wget")

明确告诉r,软件仓库用哪个,以及下载模式用什么 。这样才能完美地下载扩展包。

© 著作权归作者所有

上一篇: 可视化展现分类
下一篇: SuSE Linux 12 配置
pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问
如何构建最佳的 Hadoop 集群

序言 数据库和文件中储存的数据量每天都在增长,因此我们需要构建能够储存大量数据(“大数据”),并且廉价、可维护、可伸缩的环境。传统的关系数据库(RDBMS)系统在当前的需求下成本过高并...

oschina
2013/01/04
3.2K
1
Hadoop开发,配置hadoop-eclipse-plugin插件问题

环境:3台公司内网物理机安装CDH:Cloudera Express 5.6.0,其中 Hadoop版本:2.6.0-cdh5.6.0, rc282dc6c30e7d5d27410cabbb328d60fc24266d9 hadoop-eclipse-plugin-2.6.0.jar从本站论坛下载,......

huamao2014
2016/04/20
165
0
Apache HBase集群安装记录-基于Hadoop集群(2主4从)

一、平台环境 本次HBase安装记录是基于之前搭建好的Hadoop集群(2主4从),并且使用HBase自带的Zookeeper。HBase版本与JDK版本、Hadoop版本的依赖要求,可以从Apache官网查到。之前已安装的J...

Goopand
2016/10/25
0
0
编译eclipse hadoop插件

操作系统:ubuntu hadoop版本:1.0.1 eclipse版本:eclipse Helios-SR2 直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的,因为少了一些jar包,所以需要手工修改src/contrib/eclipse...

z_jordon
2015/10/03
117
0
Spark的源码编译

Spark的版本下载和源码编译方法的官方地址:http://spark.apache.org/downloads.html 直接进Github,复制源码:https://github.com/apache/spark Spark 编译   有三种方式:SBT、MAVEN、m...

openthings
2015/12/17
139
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.4K
15
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
41
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部