大数据分析之hadoop的基本学习1-VMwae+Ubuntu

原创
2017/01/04 11:07
阅读数 41

要学习大数据分析hadoop+hive+spark都是需要掌握的,所以加油吧!

为什么要用VMware和Ubuntu?

Hadoop是一个分布式文件系统,VMware可以快速帮我们打造多个系统。而用Ubuntu的服务器的主要原因是《Hadoop权威指南》是用的就是Ubuntu,并且hadoop的文件命令也和Ubuntu很多命令相似,这样可以小成本的实战hadoop安装配置。

学习Hadoop的工具如下:

  • 1台Imac(1.6GHz Processor 1TB Storage)、1台Mac Pro
  • 《Hadoop权威指南》修订版3(京东购买84.2元)、《Hadoop: The Definitive Guide》4th Edition(pdf文件下载)、《Real-World Hadoop》(pdf下载)、《Hadoop Security》(这本书仅个人趣网,pdf下载

预计用1个月的时间来对hadoop的学习,4个周,4个关卡。倒是也到新年,正好可奖励自己一把,出来浪吧!少年!

  • 1、关于VMware的安装

VMware的安装版本为vmware fusion for Mac。

mac安装VMware参考及VMware安装Ubuntu参考:http://blog.csdn.net/jackjia2015/article/details/50757430

  • 2、先简单学习一下Ubuntu的常用命令

Ubuntu基础命令

ls  #ls -al  常用命令参数
cd  #cd /目录名称。记住一个特殊用法cd ~/cd ..
pwd  #显示当前目录
sudo passwd  #设置用户密码
ifconfig  #查看ip地址信息,相当于win的ipconfig
mkdir  #创建目录
rm  #删除目录/文件,rm -rf ,f是强制删除目录,r是递归子目录
touch  #创建文件
cp  #复制文件
mv  #移动文件,重命名效果
cat  #输出文本的内容
echo  #输出文本,例如echo nigaea >> 1.rtf,记住>和>>的区别,1个>是覆盖输入,>>末行添加输入
more  #可以按页显示信息
man  #使用手册
head  #显示首页信息
tail  #显示末信息
vim/vi/nano  #文本编辑器
sudo reboot  #重启系统
find /usr/local | grep  #查询
uname -a  #查看系统的信息
file file.so  #查看库文件,相当于查看win的dll文件
gzip  #压缩文件
gunzip  #解压文件
tar -xvzf  #解压文件包
sudo mount  #挂载文件,一般把光驱文件挂载到mnt文件夹中,sudo mount /dev/cdrom /mnt/cdrom
sudo unmount  #卸载挂载,直接删除挂载文件就行
ps  #显示任务信息,常用ps -af
-- help  #查看帮助信息
ln -s /exist_file link_name  #链接文件
kill %n  #结束程序进制

Ubuntu文件目录及权限

/  #根目录
/bin,/sbin目录存放可执行文件,/boot引导目录,/etc通常是配置目录,/mnt挂载目录,/home目录为用户主目录,/dev为设备目录如光驱硬盘u盘等,/lib和/lib65库文件,/lost+found系统文件丢失和找回目录,/usr存放uniux软件目录

文件类型:
d dirctory文件夹
- 表示文件
l 符号链接,相当于win的快捷方式
b 块文件

文件身份
user、group、other的区别
rwx、rwx   、rwx        r即为read,w为write,x为execute
----------------------
user  group   other
rwx  rwx       rwx
000  000       000  #对应二进制
---------------------

chmod 文件 用户身份+读写执行权限  为所有身份添加文件读取权限
chmod 对应二进制 文件名

我的博客地址:http://www.nigaea.com/dataanalysis/100.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部