文档章节

单机Docker搭建Hadoop/Spark环境

daoos
 daoos
发布于 2017/02/28 14:07
字数 158
阅读 94
收藏 0

环境:

         主机系统:Ubuntu16.04 SLT

         docker版本:1.12.6

搭建:

 1.安装docker:

 2.下载Ubuntu镜像

3. 启动镜像:

docker run -it ubuntu:latest /bin/bash

3.在镜像中安装工具(安装vim和ssh)

4.1更新依赖

apt update

 4.1 安装vim

apt-get -y install vim

4.2安装openssh-server

apt-get -y install openssh-server

5.修改ssh配置文件,允许root登陆

vim /etc/ssh/sshd_config
找到:PermitRootLogin without-password
修改为:PermitRootLogin yes

6.生成ssh公钥,输入ssh-keygen,一直回车就行了

此时/root/.ssh文件夹里如下:
root@67f272584448:/# ls /root/.ssh/
id_rsa id_rsa.pub
root@67f272584448:/# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
root@67f272584448:/# ls /root/.ssh/
authorized_keys id_rsa id_rsa.pub

 

 

© 著作权归作者所有

daoos
粉丝 0
博文 12
码字总数 10231
作品 0
海淀
程序员
私信 提问
超人学院大数据高薪就业班第七期精彩课程抢先看

超人学院大数据高薪就业班第七期火爆招生中,新的一期,内容部不断增加,还有更多优惠呦,精彩内容抢先看: 1、Linux课程:如果你没有使用过Linux,别担心,本内容让你轻松入门,讲解Linux基...

超人学院
2015/04/30
143
0
基于Yarn的Spark环境,统计哈姆雷特词频(1)

一、最流行的大数据框架Spark Yarn 环境搭建 Spark History Server 以及 Yarn MapReduce History Servcer Spark-submit 提交到Yarn 运行 二、Docker部署Hadoop Yarn 部署结果: 一台namenod...

白头雁
2018/07/23
0
0
Spark学习记录(二)Spark集群搭建

Hadoop Spark集群搭建,以及IDEA远程调试 环境:Hadoop-2.7.2 jdk-1.8 scala-2-11-12 spark-2.1.0 spark2.0.0开始,只支持Java8版本了,并且Java8版本最好相对高一点,并且从spark2.1.0开始只...

我爱春天的毛毛雨
2018/11/14
21
0
docker下,极速搭建spark集群(含hdfs集群)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86851069 搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的...

博陵精骑
02/10
0
0
基于Spark的机器学习实践 (三) - 实战环境搭建

0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配置需要注意,并且不一定需...

javaedge
04/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
9
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
939
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部