加载中
通过hadoopAPI访问文件

/** * 通过Hadoop api访问 * @throws IOException */ @Test public void readFileByAPI() throws IOException{ Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs:...

2017/08/03 16:20
4
Hadoop常用的命令

hdfs dfs -mkdir -p /user/centos/hadoop hdfs dfs -ls /user hdfs dfs -ls -R /user 递归查看 hdfs dfs -help put hdfs dfs -put index.html /user/centos/hadoop上传 index.html到hadoop上...

2017/08/02 14:23
10
单独启动和关闭hadoop服务

1)启动名称节点 hadoop-daemon.sh start namenode 2) 启动数据节点 hadoop-daemons.sh start datanode slave 3)hadoop-daemon.sh start secondarynamenode 4)查看端口50070 netstat -anop...

2017/08/02 10:50
222
Hadoop公开课:完全分布式脚本分析

脚本分析start-all.sh   1)首先进入/soft/Hadoop/sbin目录   2)nano start-all.sh   sbin/start-all.sh主要做的事情:   1) libexec/hadoop-config.sh   2) start-dfs.sh   3...

2017/08/01 16:34
7
名称节点和数据节点作用

两张图说清楚名称节点和数据节点

2017/08/01 15:31
2
hadoop的端口简介

hadoop的端口: 50070 //namenode http port 50075 //datanode http port 50090 //2namenode http port 8020 //namenode rpc port 50010 //datanode rpc port 查看端口 netstat -ano | more ...

2017/07/28 10:27
20
通过hadoop自带的demo运行单词统计

1)mkdir input 2)cd intput 3)echo “hello word” > file1.txt 4)echo “hello Hadoop” > file2.txt 5)echo “hello mapreduce” >> file2.txt 6) more file2.txt 7) hadoop fs -m...

2017/07/28 09:58
9
hadoop3种集群方式

 hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式   1独立模式 安装   a)下载jdk-8u65-linux-x64.tar.gz   b)tar开   $>su centos ; cd ~   $>mkdir downloads   ...

2017/07/26 17:37
25
数据处理流程

流程图解析   典型的BI系统体流程如下:   由于是处理海量数据,流程中各环节所使用的技术则跟传统BI完全不同,后续课程都会一一讲解:   1) 数据采集:定制开发采集程序,或使用开源框...

2017/07/26 17:29
6
HADOOP生态圈以及各组成部分的简介

重点组件: HDFS:分布式文件系统 MAPREDUCE:分布式运算程序开发框架 Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具 Hbase:基于Hadoop的分布式海量数据库 ZOOKEEPER:分布式...

2017/07/26 17:15
6
大数据入门基础:Hadoop简介

  1.1.什么是hadoop   1.hadoop是apache旗下的一套开源软件平台,可以通过http://apache.org/--->project-    ->hadoop打开   2.Hadoop是开源软件,可靠的、分布式、可伸缩的。   ...

2017/07/25 17:10
14
使用inode号删除特殊文件及容易忽视的硬链接Links数目问题

使用inode号删除特殊文件及容易忽视的硬链接Links数目问题 一、使用inode号删除带有特殊符号的文件名 [root@yu63 test]# touch a.txt [root@yu63 test]# mkdir get_info [root@yu63 test]# m...

2017/06/20 17:41
12
Linux中的软硬连接

Linux中的软硬连接 Linux中的连接被分为软连接和硬连接,软连接又被称为符号连接。这种连接操作实际上是给系统中已有的某个文件指定另外一个可用于访问它的名称。对于这个新的文件名,我们可...

2017/06/20 17:40
15
搭建mysql集群实现高可用

搭建mysql集群实现高可用 一:实验目标 MySQL 集群 概述 实戓:MySQL 集群 搭建 二:实验环境 rhel-server-6.5-x86_64-dvd.iso mysql cluster 集群各机器角色: Mysql 管理结点:xuegod63.cn...

2017/06/20 17:39
12
Linux下搭建Apache服务器(完整版)

Linux下搭建Apache服务器(完整版) 什么是Apache? Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再...

2017/06/19 15:48
6
使用haproxy-实现七层负载均衡

使用haproxy-实现七层负载均衡 HAProxy概述: HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限...

2017/06/19 15:43
6
OPENVPN的经典使用技巧实战

OPENVPN的经典使用技巧实战 概述: OpenVPN允许参与建立VPN的单点使用共享密钥,电子证书,用户名/密码来进行身份验证,它大量使用了OpenSSL加密码库中的SSLv3/TLSv1协议函式库. 目前OpenVPN能在...

2017/06/19 15:42
15
python中列表操作

目录: 1:序列操作 ------索引 ------分片 ------步长 ------序列运算 ------成员资格检验 ------内建函数-len-max-min 2:列表操作 ------list函数 ------改变列表 ------删除元素 ------...

2017/06/16 14:08
23
【Python初级】008-面向对象

目录 1:类与对象 -------什么是类和对象 -------什么是属性与方法 2:面向对象的三大类型 -------封装 -------继承 -------多态 一、类与对象 -------什么是类和对象 Python中什么是对象?o...

2017/06/16 14:07
7
【Python初级】009-错误与异常

目录: ----------什么是错误与异常 1、1、异常类 ----------捕捉异常并处理 1、try...except的初步使用 2、try...except的捕获异常分析(一) 3、try...except的捕获异常分析(二) 4、try...

2017/06/16 14:06
7

没有更多内容

加载失败,请刷新页面

返回顶部
顶部