文档章节

windows下部署hbase (三)

序章1984
 序章1984
发布于 2016/06/19 20:08
字数 1494
阅读 732
收藏 2

一、准备

本文接着上篇装完hadoop来的,博主只是听说hbase底层基于了hdfs,但实际是怎么样的并不清楚。 看来想搞这一套还需要买本书好好的研习一下。先不多说,把hbase部署一下。

根据hbase的官方wiki需要准备和配置如下几个依赖项。

  1. jre / jdk
  2. cygwin & openssh
  3. hbase

其中两个在部署hadoop的时候已经搞过,只剩下openssh和hbase需要部署。

因为出了很多问题,没能一一记下,如果有问题,可以留言共同探讨。

二、安装ssh

微软官方已经搞了windows平台下的openssh,OpenSSH for PowerShell

博主直接下载了最新版本。 解压,然后用管理员打开一个powershell。 直接运行 cd 到解压目录。 先生成 key。

.\ssh-keygen.exe -t rsa -f ssh_host_rsa_key
.\ssh-keygen.exe -t dsa -f ssh_host_dsa_key
.\ssh-keygen.exe -t ecdsa -f ssh_host_ecdsa_key
.\ssh-keygen.exe -t ed25519 -f ssh_host_ed25519_key

后来看到教程说直接

.\ssh-keygen.exe -a

就可以,但是没尝试,大家可以先这么试一下。

然后运行 .\sshd.exe 如果不出其他问题,应该不会出什么提示。如果不放心,继续输入 netstat -ano 查看一下windows现在开放的端口,如果看到22,就说明sshd已经起来了。

这时候我们再运行

.\install-sshd.ps1

这个脚本会把sshd发布为windows服务,但是运行的时候可能会报一个 在此系统中禁止执行脚本 的提示。如果有,则继续输入权限命令:

set-executionpolicy

提示是不是Yes,点击 Y 即可。

这时候,运行 ssh username@localhost 进行测试,应该会提示你输入username的密码,输入即可。

然后,需要将该目录加入 PATH ,以便在cmd中使用 ssh 。

博主装完之后sshd的log不知为何变成了101G,把盘占满了,应该是个bug,因为没有重现,所以现在博主暂时没有管它,所以最好不要把ssh放在系统盘,爆盘了不知道系统会不会挂掉。。

二、hbase

下载hbase的二进制包,我用的1.1.5稳定版。下载tar.gz压缩包,博主解压到了 P:\hbase-1.1.5

事实上我还做了一个操作,就是把上篇编译的hadoop的相关jar包替换到 hbase-1.1.5/lib/hadoop-.jar 中,因为之前看到一篇教程说hbase中的jar包与自己hadoop的版本应该一致,但是实际上有没有起到效果博主并不知晓,所以可以先不做这一步,后面出问题了再替换吧

三、配置

3.1 配置 cygwin

其实博主很奇怪,hbase的发布包中提供了cmd的脚本,理论上可以不依赖cygwin,而在cygwin中,脚本运行的是 sh,而程序却实际使用的是 .exe ,wiki中并没有提到软件包cmd的文件是干什么用的(也许cmd还在测试?),博主曾尝试在windows cmd 中部署,但是失败了,有条件的童鞋可以写一个不用cygwin的教程 ^_^ (因为表面上看 sshd 的问题微软已经解决了,脚本改用windows下的,应该是没有问题的)

cygwin下面需要配置的东西主要是把 windows 下的路径映射成linux的。所以就是要建几个“快捷方式”

## 把jdk的路径映射到linux中
ln -s /cygdrive/p/jdk7 /usr/local/jdk7
## 把hbase的路径映射到linux中
ln -s /cygdrive/p/hbase-1.1.5 /usr/local/hbase-1.1.5

3.2 配置 hbase

3.2.1 P:\hbase-1.1.5\conf\hbase-env.sh

查找 JAVA_HOME ,解注释,并且把值设置为 /usr/local/jdk7

查找 HBASE_OPTS 添加 -Dhadoop.home.dir=P:/hado 既指定hadoop目录。

另外有一个教程提到需要设置 export HBASE_CLASSPATH=/usr/local/hbase-???/lib/zookeeper-???.jar:/usr/local/hbase-???/lib/slf4j-api-???.jar:/usr/local/hbase-???/lib/slf4j-log4j12-???.jar (??? 代表版本号) 博主虽然进行了设置,但是感觉应该不需要...

3.2.2 P:\hbase-1.1.5\conf\hbase-site.xml

在官方的wiki中提到一个叫 ./conf/hbase-default.xml 的文件,而这个文件在windows下是没有的,经过搜索,得知这是hbase开发环境才使用的配置文件,而实际使用的是hbase-site.xml这个,所以该文件即可。 在文件中添加以下项目:

<configuration>
  <property>
      <name>hbase.rootdir</name>
      <value>hdfs://0.0.0.0:19000/hbase</value>
      <!-- 这部分进行了修改,现在使用本地搭建的hadoop作为文件系统
           hdfs://0.0.0.0:19000 定义在hadoop/etc/hadoop/core-site.xml中
      <value>file:///P:/hadoop/cygwin64/tmp/hbase</value>
      -->
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>P:/hadoop/cygwin64/tmp/hbase_tmp</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>false</value>
  </property>
</configuration>

**然而,博主并不知道这些都是什么玩意 @_@ **

四、启动hbase

额... 先不管那些繁杂的配置了,先来启动试一下。在cygwin中执行。

/usr/local/hbase-1.1.5/conf/hbase-env.sh
/usr/local/hbase-1.1.5/bin/start-hbase.sh

如果不出什么意外,hbase会提示让你输入ssh的密码,输入之后就启动成功了。这里hbase开启的是后台进程,也就是cygwin还是可以操作的,但是cygwin的窗口仍然不能关闭,会造成hbase进程停止

启动hbase

五、测试

继续在cygwin中输入

/usr/local/hbase-1.1.5/bin/hbase shell

开启一个 hbase 的shell窗口。 然后就可以输入命令啦。

create 'test', 'data'
list
put 'test', 'row1', 'data:1','value1'
put 'test', 'row2', 'data:2','value2'
put 'test', 'row3', 'data:3','value3'

测试结果大致如下:

测试hbase

总结

因为是周末,所以时间比较多,其实我一直在尝试用cmd来搭hbase,毕竟hbase提供了cmd的脚本,但试过几次之后还是放弃了。因为本人主业是 .net/windows 所以对java平台下的东西了解很少。很多概念也不是特别清楚,不过好在现在资料比较多,可以多学点。 hbase到此就差不多了,明天就周一了,下周开始搭建 apache nutch。

对了,今天是父亲节,祝老爸永远健康。

© 著作权归作者所有

序章1984
粉丝 1
博文 15
码字总数 16228
作品 0
杭州
程序员
私信 提问
Windows HBase2.2.0安装部署踩坑

下载安装 hbase下载 解压之后根目录,没有什么要修改的。 配置文件目录,主要修改hbase-env.cmd和hbase-site.xml hbase-env.cmd HBASEMANAGESZK值为false表示zookeeper外装,HBASEMANAGESZK的...

trayvon
06/25
111
0
2018-08-12期 Hbase本地模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作。 (2)伪分...

JackmaSong
2018/08/12
0
0
hbase 数据库简介安装与常用命令的使用

一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 1.2 hbase 简介: 1.3 HBase与Hadoop的对比 1.4 HB...

flyfish225
2018/04/12
0
0
hadoop hive hbase 入门学习 (二)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hado......

curiousby
2015/03/08
0
0
Apache HBase 出现信息泄漏漏洞

Apache HBase 因为远程拒绝服务、发现信息泄露漏洞和信息完整性出现问题。 受影响的版本有: HBase 0.98.0 - 0.98.12 HBase 1.0.0 - 1.0.1 HBase 1.1.0 HBase 0.96(受波及了) 逻辑错误导致...

oschina
2015/05/26
2.4K
6

没有更多内容

加载失败,请刷新页面

加载更多

安全组和云防火墙的区别

前言 熟悉云平台的朋友可能都会注意到这样一个事情:无论公有云还是私有云,创建虚拟机的时候都需要选择安全组,来对虚拟机进行安全防护;有的云平台在VPC里,还能选择防火墙,ZStack在3.6版...

ZStack社区版
21分钟前
2
0
教育性app开发的重要性和好处

在这个精通技术的世界中,流行的app主导着无聊的教育系统。当我们将技术和教育结合在一起时,它将带来当代以及强大的学习资源。因此,将教育移动app集成到您的学习过程中,并根据自己的信念把...

a429011717
22分钟前
3
0
IE6/7/8如何兼容CSS3属性

本文转载于:专业的前端网站➩IE6/7/8如何兼容CSS3属性 最近在工作中总是要求IE8兼容CSS3属性,在网上搜了搜主要是引入了一个htc文件(ie-css3.htc或者PIE.htc。个人认为这两个文件的作用差不...

前端老手
37分钟前
3
0
手把手教你ALLEGRO的约束规则的设置教程!

约束规则的设置 分三步, 定义规则(一、基本约束规则设置:1、线间距设置;2、线宽设置;3、设置过孔;4、区域约束规则设置;5、设置阻抗;6、设置走线的长度范围;7、设置等长:7.1、不过电阻的NET 等...

demyar
39分钟前
4
0
完美解决H5滚动滑动穿透方案:不使用系统滚动

网上有很多黑科技解决这个问题,都不是从根本去解决,例如通过js控制弹出时html加上position:fixed; 弹窗关闭后再去掉该样式,总觉得不太对,像是打补丁。 今天终于找到了滚动穿透的原因和完...

未来cc
44分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部