加载中
centos编译hadoop-3.0.0-beta1源码

最近在做ec模块(纠删码),需要建立源码编译环境。

HBase Shell操作命令

HBase单机配置(官网): HBase下载http://www.apache.org/dyn/closer.cgi/hbase/ 解压缩,然后进入到那个要解压的目录. $ tar xfz hbase-××××.tar.gz $ cd hbase-××××× 现在你已经...

2017/07/09 20:31
1.1K
矩阵乘法的mapreduce程序实现

map函数:对于矩阵M中的每个元素m(ij),产生一系列的key-value对<(i,k),(M,j,m(ij))> 其中k=1,2.....知道矩阵N的总列数;对于矩阵N中的每个元素n(jk),产生一系列的key-value对<(i , k...

2017/05/25 20:36
388
hadoop2.7.3完全分布式集群搭建

做一个项目需要hadoop,所以开始学习hadoop。今天花费了半天的时间,成功搭建了hadoop集群。

2017/02/23 20:50
435
hive SQL基本操作

1.建表 创建简单表: hive> CREATE TABLE pokes (foo INT, bar STRING); 创建外部表: CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRIN...

2018/05/12 13:25
103
kafka快速开始

启动kafka服务 ./bin/kafka-server-start.sh config/server.properties 创建话题my-replicated-topic bin/kafka-topics.sh --create --zookeeper yun1:2181 --replication-factor 3 --parti...

2018/04/22 18:06
27
高可用分布式clickhouse集群搭建

发现NoSql中的一匹黑马ClickHouse,昨晚测试单机单表 2000万行 count(*)查询耗时0.25 sec

2018/04/02 17:32
4.1W
Maven添加jar包到 Ubuntu本地中心仓库

编译Hadoop3.0的时候出错了,发现有个jar包maven找不到,于是去网上找了一个。将其加入到maven中心仓库中。

2017/11/20 22:52
148
idea编写spark应用时,去除info日志

在spark的安装目录下的conf目录里,把log4j文件copy到项目的src文件夹下面。 把后缀template去掉 log4j.rootCategory=INFO, console 改为 log4j.rootCategory=ERROR, console...

Spark常用的三种计算模式

以计算PI为例子 进入spark的安装目录 单机local模式提交任务 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples*.jar yarn-clien...

Datanode没起来,报错RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException)的解决方案

集群中五台datanode结果只起来四台,查看没起来的那台datanode日志,发现报错如下: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): ...

2017/07/14 09:40
239
HDFS文件操作命令

持续更新中

2017/07/04 13:43
334
hadoop2.7.3用mapreduce计算pi值

首先我们找到hadoop-mapreduce-examples-2.7.3.jar,在hadoop-2.7.3/share/hadoop/mapreduce下。 进入该目录运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 2 5 第一个参数2是指定m...

2017/07/04 09:53
1.7K
hadoop关闭安全模式

本来想创建文件夹 /yun hdfs dfs -mkdir /yun 遇到报错mkdir: Cannot create directory /yun. Name node is in safe mode. 发现安全模式下不能创建文件夹 遂关闭安全模式,使用下面命令 hdfs...

2017/07/03 14:26
198
Hbase基本操作及单机配置

1.安装单机版hbase1.25 下载hbase(http://apache.fayea.com/hbase/) 2.解压hbase Tar -zxvf ***.tar.gz Mv *** /opt 3.设置环境变量 Vim /etc/profile 添加export PATH=$PATH:/opt/hbase-...

2017/05/22 21:06
357
hadoop报异常java.lang.IllegalArgumentException: URI has an authority component

hdfs-site.xml配置文件中dfs.namenode.name.dir的配置有问题,或者没进行配置 错误配置: <property> <name>dfs.namenode.name.dir</name> <value>file://data01/hadoop/dfs/name</value> <...

2017/04/26 18:22
425
在centos上搭建Hadoop集群,关闭防火墙

#关闭防火墙 sudo systemctl stop firewalld.service #关闭开机启动 sudo systemctl disable firewalld.service...

2017/04/07 15:15
711
hadoop2.7.3 使用wordcount的一个例子

传递测试文件:hadoop fs -put ss.txt /data/input 得到结果:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/result 结果 hadoop f...

2017/02/23 21:31
113

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部