Hadoop-Centos7安装和Hadoop存储规划

原创
2016/03/31 16:09
阅读数 237

 一、安装VMware12、CentOS7:

1、VMware 12 专业版永久许可证密钥:5A02H-AU243-TZJ49-GTC7K-3C61N

2、安装Centos7:

2.1、创建新的虚拟机:典型(推荐)—稍后安装操作系统—Linux(L)—版本CentOS 64位—虚拟机名称:centos64—将虚拟磁盘存储为单个文件—自定义硬件—网络连接:桥接模式—选择ISO镜像:CentOS-7-x86_64

2.2、开启此虚拟机—方向键选择—InstallingCentos7(第一项)—回车—选择English—Next—

    设置安装选项:

    安装软件选择:

    

    手动分区:

    存储规划:/boot : 200M,SWAP : 一般是内存的1~2倍,剩余全部根分区/

    设置网络和名称:    

    开启网络:

    设置名称:

2.3、安装完成后重启

2.4、特别注意:安装完成后ifconfig查看网络命令不可用,新版本后没有该命令,可以使用ip addr命令来查看。

    如何启用并使用ifconfig命令(服务器可以联网的情况下):

    2.4.1、找到哪个包提供了ifconfig命令,输入以下命令:yum provides ifconfig

    2.4.2、net-tools包提供了ifconfig命令,安装net-tools包,输入如下命令:yum install net-tools

    2.4.3、安装完成后就可以使用ifconfig 命令了。

2.5、网络配置:vim /etc/sysconfig/network-scripts/ifcfg-eno16777736,

        配置完成后重启网卡:/etc/init.d/network restart

    2.5.1、配置静态IP地址:

    /etc/sysconfig/network-scripts

    vim ifcfg-eno16777736(名称可能会不同)

    

    重启网卡:

    systemctl restart network.service

    ip addr

2.6、安装vim:yum install vim-enhanced -y

二、CentOS7系统优化

1、创建hadoop用户

    useradd hadoop

    echo "hadoop123" |passwd --stdin hadoop

2、查看hadoop用户是否添加成功

    su - hadoop

    su - hadoop

3、退出,回到root用户

    exit

    exit

4、查看系统已安装文件

    yum grouplist

    如果安装过程落了部分包组或或者其他软件安装时没选,在安装后可以按如下方式补上安装时未安装的包组:
    yum groupinstall "Compatibility Libraries""Base""Development tools"
    yum gruopinstall "debugging Tools""Dial-up Networking Support"
    可以通过yum groupinfo 包组查看具体安装的组件。

    运行 yum groupinstall "Compatibility libraries"报错:

    [root@server1 mnt]# yum groupinstall Compatibility libraries
    Loaded plugins: fastestmirror
    Loading mirror speeds from cached hostfile
     * base: mirrors.btte.net
     * extras: mirrors.skyshe.cn
     * updates: mirrors.yun-idc.com
    Warning: group Compatibility does not exist.
    Warning: group libraries does not exist.
    Maybe run: yum groups mark install (see man yum)
    No packages in any requested group available to install or update

    解决方法:

    yum clean all  清空信息

    yum makecache  创建缓存

    sudo yum groups install "Compatibility libraries" 

    可以通过yum groupinfo 包组查看具体安装的组件。

5、关闭SELINUX:
  sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
  setenforce 0
  grep SELINUX=disabled /etc/selinux/config

6、查看系统默认运行级别:runlevel

7、查看在3这个运行级别下自动启动了哪些服务

    旧指令:

    chkconfig

    chkconfig --list|grep 3:on

    chkconfig --list|grep 3:on | cut -d " " -f1

    新指令:

    systemctl list-units --type=service

    systemctl list-unit-files|grep enabled

    systemctl list-unit-files --type=service|grep enabled

8、关闭自动运行服务:

    旧指令:

    chkconfig network(服务名) off(关闭自动启动)/on(开启自动启动)

    新指令:

    systemctl disable(关闭自动启动)/enable(开启自动启动)  network.service(服务名)

9、设置以下服务自动启动:

    crond, ntpdate, lvm2-monitor,blk-availability, rsyslog ,sshd,network

10、关闭防火墙:

    查看状态: iptables -L -n

                     systemctl list-unit-files --type=service|grep enabled

11、权限管理:给hadoop用户提升权限(通过sudo可以执行hadoop用户没有权限执行的命令)

   echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >>/etc/sudoers

    su - hadoop

    sudo -l

    sudo su - (不需要密码就可以登录到root用户)

    exit

12、增大文件描述符

    echo '* - nofile 65535' >> /etc/security/limits.conf

    ulimit -a

    logout

    ulimit -a

    这个是全局性的改变,可以登录hadoop用户验证一下:

    su - hadoop

    ulimit -a

    exit

三、vmware克隆虚拟机:

1、管理-克隆-下一步-虚拟机中的当前状态-创建完整克隆-虚拟机名称

2、配置IP地址

3、修改主机名:查看主机名hostname、hostnamectl

    第一种:hostname 主机名

    hostname 主机名称

    这种方式,只能修改临时的主机名,当重启机器后,主机名称又变回来了。

    第二种:hostnamectl set-hostname <hostname>

    命令行中输入

    hostnamectl set-hostname <主机名>

    使用这种方式修改,可以永久性的修改主机名称!

centos6虚拟机eth0无法启动解决:
 其实是因为无线网卡和实体线连接电脑使用的虚拟机网卡格式不同。无线网卡使用eth0,实体线使用eth1。
  vim /etc/udev/rules.d/70-persistent-ipoib.rules 文档,把对应的eth0网卡配置MAC地址修改为现用的网卡MAC地址,保存退出重启网卡即可,最后重启系统。
  重启网卡
  /etc/init.d/network restart
  rm -f /etc/udev/rules.d/70-persistent-ipoib.rules
  cat /etc/sysconfig/network
  删除两项ifcfg-eth0的配置,重启系统即可。



展开阅读全文
打赏
1
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部