文档章节

大数据分析之hadoop的基本学习1-VMwae+Ubuntu

inerds
 inerds
发布于 2017/01/04 11:07
字数 801
阅读 21
收藏 0

要学习大数据分析hadoop+hive+spark都是需要掌握的,所以加油吧!

为什么要用VMware和Ubuntu?

Hadoop是一个分布式文件系统,VMware可以快速帮我们打造多个系统。而用Ubuntu的服务器的主要原因是《Hadoop权威指南》是用的就是Ubuntu,并且hadoop的文件命令也和Ubuntu很多命令相似,这样可以小成本的实战hadoop安装配置。

学习Hadoop的工具如下:

  • 1台Imac(1.6GHz Processor 1TB Storage)、1台Mac Pro
  • 《Hadoop权威指南》修订版3(京东购买84.2元)、《Hadoop: The Definitive Guide》4th Edition(pdf文件下载)、《Real-World Hadoop》(pdf下载)、《Hadoop Security》(这本书仅个人趣网,pdf下载

预计用1个月的时间来对hadoop的学习,4个周,4个关卡。倒是也到新年,正好可奖励自己一把,出来浪吧!少年!

  • 1、关于VMware的安装

VMware的安装版本为vmware fusion for Mac。

mac安装VMware参考及VMware安装Ubuntu参考:http://blog.csdn.net/jackjia2015/article/details/50757430

  • 2、先简单学习一下Ubuntu的常用命令

Ubuntu基础命令

ls  #ls -al  常用命令参数
cd  #cd /目录名称。记住一个特殊用法cd ~/cd ..
pwd  #显示当前目录
sudo passwd  #设置用户密码
ifconfig  #查看ip地址信息,相当于win的ipconfig
mkdir  #创建目录
rm  #删除目录/文件,rm -rf ,f是强制删除目录,r是递归子目录
touch  #创建文件
cp  #复制文件
mv  #移动文件,重命名效果
cat  #输出文本的内容
echo  #输出文本,例如echo nigaea >> 1.rtf,记住>和>>的区别,1个>是覆盖输入,>>末行添加输入
more  #可以按页显示信息
man  #使用手册
head  #显示首页信息
tail  #显示末信息
vim/vi/nano  #文本编辑器
sudo reboot  #重启系统
find /usr/local | grep  #查询
uname -a  #查看系统的信息
file file.so  #查看库文件,相当于查看win的dll文件
gzip  #压缩文件
gunzip  #解压文件
tar -xvzf  #解压文件包
sudo mount  #挂载文件,一般把光驱文件挂载到mnt文件夹中,sudo mount /dev/cdrom /mnt/cdrom
sudo unmount  #卸载挂载,直接删除挂载文件就行
ps  #显示任务信息,常用ps -af
-- help  #查看帮助信息
ln -s /exist_file link_name  #链接文件
kill %n  #结束程序进制

Ubuntu文件目录及权限

/  #根目录
/bin,/sbin目录存放可执行文件,/boot引导目录,/etc通常是配置目录,/mnt挂载目录,/home目录为用户主目录,/dev为设备目录如光驱硬盘u盘等,/lib和/lib65库文件,/lost+found系统文件丢失和找回目录,/usr存放uniux软件目录

文件类型:
d dirctory文件夹
- 表示文件
l 符号链接,相当于win的快捷方式
b 块文件

文件身份
user、group、other的区别
rwx、rwx   、rwx        r即为read,w为write,x为execute
----------------------
user  group   other
rwx  rwx       rwx
000  000       000  #对应二进制
---------------------

chmod 文件 用户身份+读写执行权限  为所有身份添加文件读取权限
chmod 对应二进制 文件名

我的博客地址:http://www.nigaea.com/dataanalysis/100.html

© 著作权归作者所有

inerds
粉丝 6
博文 27
码字总数 15512
作品 0
成都
部门经理
私信 提问
Cloudera大数据培训

作为大数据核心技术,Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案,cloudera作为Hadoop的领航者,针对企业目前普遍缺乏海量数据技术人员的现状,开展了Clo...

hadoopstar
2015/03/17
73
0
为什么大批的JAVA程序员都是在转大数据

前言 首先JAVA的精密,强大,拥有其它语言不可替代的性能和可维护性,早已经是成为最受欢迎的编程语言之一,很多人想进入IT行业,首选的第一门语言就是JAVA。但是,在未来10年肯定是大数据的...

JAVA丶学习
2018/04/18
0
0
学习大数据必备的5大核心技术,你知道几个?需要掌握哪些知识?

大数据已经成为时代发展的趋势,很多人纷纷选择学习大数据,想要进入大数据行业。大数据技术体系庞大,包括的知识较多,系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些...

董黎明
2018/07/18
44
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
什么是hadoop大数据?我又为什么要写这篇文章?

点击链接 https://my.oschina.net/ijj/blog 关注我的博客。学习更多hadoop知识。 这些天,有很多人咨询我大数据相关的一些信息,觉得大数据再未来会是一个朝阳行业,希望能尽早学会、入行,借...

隐姓埋名啊
2017/03/16
531
1

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部