文档章节

Hadoop上路_05-HDFS中的文件操作

vigiles
 vigiles
发布于 2013/05/20 22:34
字数 292
阅读 357
收藏 4

1.Hadoop操作:

1查看Hadoop版本:

2)自动开启Hadoop

hm@hm-ubuntu:~$ start-all.sh

3)手动开启Hadoop

2.HDFS操作:

1)查看HDFS上的文件:

hadoop dfs -ls / 等同于 hadoop fs -ls /

2)向HDFS上传文件:

(1)使用put命令:

hadoop fs -put test.txt /home/fs-test.txt

2)使用copyFromLocal命令:

hadoop fs -copyFromLocal 本地目录/本地文件 /HDFS目录/文件

3)从HDFS下载文件:

hadoop fs -get /HDFS目录/文件 本地目录/文件

(1)拷贝单个文件:

2)拷贝整个目录:


红色方框选中的hadoop-hm目录是之前我们在core-site.xml文件中配置的临时目录。红色椭圆选中的home是刚刚我们congHDFS下载的文件夹。

4)删除HDFS上的文件:

hadoop fs -rmr /home/*.txt

5)HDFS的更多命令:



3.MapReduce示例操作-统计字符

1)在HDFS上执行jar程序:

hadoop jar hadoop-examples-1.1.2.jar wordcount /test.txt /result



警告:     
        13/05/11 16:43:29 INFO input.FileInputFormat: Total input paths to process : 1 
        13/05/11 16:43:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
        13/05/11 16:43:29 WARN snappy.LoadSnappy: Snappy native library not loaded  

速度挺快的,页面上只看到完成的任务:

2)查看统计结果: 



- end

© 著作权归作者所有

vigiles

vigiles

粉丝 99
博文 84
码字总数 82564
作品 0
昌平
程序员
私信 提问
Hadoop上路_04-启动Hadoop

1.格式化HDFS: hadoop namenode -format 错误1 : 配置文件 -.xml 中 <></> 标签配对错误 [Fatal Error] hdfs-site.xml:10:6: The element type "name" must be terminated by the matching......

vigiles
2013/05/20
1K
0
在 Ubuntu16.04 上搭建 Hadoop-2.8.0 伪分布式环境

学校有几门课程的作业需要我们来写个教程,好吧。 环境准备 软件安装 由于该系统是英文系统,有可能对中文字符支持不友好,因此要安装中文的UTF-8字符集。同时因为Hadoop是Java的杰出产物因此...

煎鱼教教主
2017/05/04
0
0
【hadoop】15.HDFS-其他功能

简介 本章节我们讲讲HDFS的一些其他杂项功能,他们都是作为辅助功能而存在的。 1、集群间数据拷贝 我们之间使用scp实现了两个远程主机之间的文件复制,该方式可以实现文件的推拉。 我们也可以...

Areya
01/12
8
0
完全分布模式hadoop集群安装配置之一安装第一个节点

本系列文章讲述搭建完全分布模式hadoop的安装配置过程,还将讲述完全分布式模式的一些基本操作。准备采用先单机调通再加入节点的方式。本文只讲述单节点的安装和配置。 1. Namenode和JobTrac...

mikelij
2012/03/06
0
0
使用Sqoop实现HDFS与Mysql互转

简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入...

疯狂的艺术家
2013/05/10
9.1K
1

没有更多内容

加载失败,请刷新页面

加载更多

vue vue-router beforeRouteEnter

本文转载于:专业的前端网站➬vue vue-router beforeRouteEnter beforeRouteEnter (to, from, next) { // 在渲染该组件的对应路由被 confirm 前调用 // 不!能!获取组件实例 `thi...

前端老手
51分钟前
4
0
Spring Boot 2 实战:结合 Docker 容器化

1. 前言 Docker 是啥?好处是啥? 什么现在如果作为一名开发你还不知道甚至没有用过我都感觉你落伍了。Docker 是一种虚拟化的容器技术,目的为了打造持续集成、版本控制、可移植性、隔离性和...

码农小胖哥
56分钟前
4
0
Linux 常用查询句柄的命令(Too many open files)

摘要 查询命令 进程占用的句柄总数 lsof -n | wc -l 查看哪一个进程占用的句柄最多 lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more 第一列 是 占用句柄数; 第二列 是 进程号 PID;...

liangxiao
56分钟前
5
0
JavaScript权威指南笔记5

第五章、语句 0、概述 JS程序是一系列可执行语句的集合。 通过控制语句来改变语句的默认执行顺序。 控制语句:条件、循环和跳转(如return、break和throw) 2、复合语句 当多条语句被当做一条语...

_Somuns
今天
5
0
vmware安装ubuntu18.04总是 panic -not syncing:corrupted stack end detected inside schedule

Vmware 安装ubuntu 总是卡着不动, 提示panic -not synciong 网上提示很多办法,都试了效果不佳, 找到了完美解决办法 你的兼容模式重新选一下为6.0,兼容性对硬件有要求的 即可实现 成功安装...

dragon_tech
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部