加载中
通过hadoopAPI访问文件

/** * 通过Hadoop api访问 * @throws IOException */ @Test public void readFileByAPI() throws IOException{ Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs:...

2017/08/03 16:20
195
Hadoop常用的命令

hdfs dfs -mkdir -p /user/centos/hadoop hdfs dfs -ls /user hdfs dfs -ls -R /user 递归查看 hdfs dfs -help put hdfs dfs -put index.html /user/centos/hadoop上传 index.html到hadoop上...

2017/08/02 14:23
40
单独启动和关闭hadoop服务

1)启动名称节点 hadoop-daemon.sh start namenode 2) 启动数据节点 hadoop-daemons.sh start datanode slave 3)hadoop-daemon.sh start secondarynamenode 4)查看端口50070 netstat -anop...

2017/08/02 10:50
2.9K
Hadoop公开课:完全分布式脚本分析

脚本分析start-all.sh   1)首先进入/soft/Hadoop/sbin目录   2)nano start-all.sh   sbin/start-all.sh主要做的事情:   1) libexec/hadoop-config.sh   2) start-dfs.sh   3...

2017/08/01 16:34
124
名称节点和数据节点作用

两张图说清楚名称节点和数据节点

2017/08/01 15:31
1K
通过hadoop自带的demo运行单词统计

1)mkdir input 2)cd intput 3)echo “hello word” > file1.txt 4)echo “hello Hadoop” > file2.txt 5)echo “hello mapreduce” >> file2.txt 6) more file2.txt 7) hadoop fs -m...

2017/07/28 09:58
125
hadoop3种集群方式

 hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式   1独立模式 安装   a)下载jdk-8u65-linux-x64.tar.gz   b)tar开   $>su centos ; cd ~   $>mkdir downloads   ...

2017/07/26 17:37
106
数据处理流程

流程图解析   典型的BI系统体流程如下:   由于是处理海量数据,流程中各环节所使用的技术则跟传统BI完全不同,后续课程都会一一讲解:   1) 数据采集:定制开发采集程序,或使用开源框...

2017/07/26 17:29
74
HADOOP生态圈以及各组成部分的简介

重点组件: HDFS:分布式文件系统 MAPREDUCE:分布式运算程序开发框架 Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具 Hbase:基于Hadoop的分布式海量数据库 ZOOKEEPER:分布式...

2017/07/26 17:15
62
大数据入门基础:Hadoop简介

  1.1.什么是hadoop   1.hadoop是apache旗下的一套开源软件平台,可以通过http://apache.org/--->project-    ->hadoop打开   2.Hadoop是开源软件,可靠的、分布式、可伸缩的。   ...

2017/07/25 17:10
57
使用inode号删除特殊文件及容易忽视的硬链接Links数目问题

使用inode号删除特殊文件及容易忽视的硬链接Links数目问题 一、使用inode号删除带有特殊符号的文件名 [root@yu63 test]# touch a.txt [root@yu63 test]# mkdir get_info [root@yu63 test]# m...

2017/06/20 17:41
71
Linux下搭建Apache服务器(完整版)

Linux下搭建Apache服务器(完整版) 什么是Apache? Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再...

2017/06/19 15:48
117
python中列表操作

目录: 1:序列操作 ------索引 ------分片 ------步长 ------序列运算 ------成员资格检验 ------内建函数-len-max-min 2:列表操作 ------list函数 ------改变列表 ------删除元素 ------...

2017/06/16 14:08
120
【Python初级】009-错误与异常

目录: ----------什么是错误与异常 1、1、异常类 ----------捕捉异常并处理 1、try...except的初步使用 2、try...except的捕获异常分析(一) 3、try...except的捕获异常分析(二) 4、try...

2017/06/16 14:06
204

没有更多内容

加载失败,请刷新页面

返回顶部
顶部