文档章节

搭建spark 集群

 李浩_
发布于 2016/09/17 20:42
字数 258
阅读 35
收藏 1

配置linux

安装epel

CentOS6.5下添加epel源
时间:2014-09-20 01:46来源:cnblogs 作者:天生我材有P用 举报 点击:22665次
0.安装yum优先级插件

yum install yum-priorities
1.epel简介: https://fedoraproject.org/wiki/EPEL/zh-cn

rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
以上URL请按实际情况修改

2.查看是否安装成功

rpm -q epel-release
 3.导入key:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
4.修改/etc/yum.repos.d/epel.repo文件

在[epel]最后添加一条属性 priority=11

vi /etc/yum.repos.d/epel.repo
意思是yum先去官方源查,官方没有再去epel的源找

5.重建缓存

yum makecache

 

配置环境

scp root@10.10.11.191:/root/Download/jdk.tar.gz jdk.tar.gz
scp root@10.10.11.191:/root/Download/apache-maven-3.3.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz
scp root@10.10.11.191:/root/Download/spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz




vi /etc/profile

+++
JAVA_HOME=/opt/env/jdk1.7.0_79
MAVEN_HOME=/opt/env/maven-3.3.9
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
:wq

source /etc/profile


vi /etc/hosts
10.10.11.191    spark.env
:wq

ssh-keygen -t rsa
touch /root/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys


./sbin/start-slave.sh spark://spark.env:7077

 

© 著作权归作者所有

粉丝 2
博文 15
码字总数 9606
作品 0
北京
高级程序员
私信 提问
工作日志——基于k8s搭建spark集群

使用k8s搭建spark集群 这几天尝试在k8s中搭建spark集群,踩了一些坑,跟大家分享一下。 Spark的组件介绍可参考官方文档 大数据生态圈简介可参考这篇文章 基于k8s官方示例 具体参考github k8...

店家小二
2018/12/16
0
0
集群四部曲(三):完美的Spark集群搭建

前面已经成功的搭建了Zookeeper和Hadoop集群,接下来让我们更进一步,实现Spark集群的搭建吧。相比较而言,Spark集群的搭建要简单的许多了,关键是Hadoop已经搭建成功了。此次是基于上次的H...

海岸线的曙光
2018/03/16
993
0
Spark1.2.1集群环境搭建——Standalone模式

机器准备 笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。 192.168.248.150 spark-master192.168.248.153 ubuntu-worker192.168.248.155 spark-worker1 根据...

Jackson_Mu
2015/03/16
9.1K
13
docker下,极速搭建spark集群(含hdfs集群)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86851069 搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的...

博陵精骑
02/10
0
0
搭建Spark集群?没想到你是这样的k8s

在本文的例子中,你将使用 Kubernetes 和 Docker 创建一个功能型Apache Spark集群。 你将使用Spark standalone模式 安装一个 Spark master服务和一组Spark workers。 对于已熟悉这部分内容的...

时速云
2016/08/24
732
0

没有更多内容

加载失败,请刷新页面

加载更多

米联客(MSXBO) 基于VIVADO实现FPGA时序笔记之概述(一)

FPGA时序要满足要求,这个基本原理大家基本都知道,但是如何使用VIVADO IDE工具进行时序设计、时序分析、判断时序是否满足要求,这个对很多FPGA工程师来说,还是比较抽象,因为时序分析的工具...

msxbo
34分钟前
5
0
Centos7 命令行下kvm安装windows,linux

查看是否支持 egrep "svm|vmx" /proc/cpuinfo |uniq 安装软件 yum install libvirt -yyum -y install qemu-kvmsystemctl enable libvirtd && systemctl start libvirtd# 启动lib......

以谁为师
35分钟前
7
0
源码分析 RocketMQ DLedger(多副本) 之日志追加流程

上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主,本文将详细分析日志复制的实现。 根据 raft 协议可知,当整个集群完成 Leader 选主后,集群中的主节点就可以接受客户...

中间件兴趣圈
49分钟前
3
0
基于k8s的Ingress部署hexo博客(http和https)

注:kuberntes版本为1.15 什么是 Ingress Ingress 是一个提供对外服务的路由和负载均衡器,其本质是个nginx控制器服务。 k8s文档上Ingress经典数据链路图: internet | [ In...

Kanonpy
今天
7
0
LNMP---访问控制

访问控制 扩展: curl命令用法: curl -v -A 'aaaaaspider/3.0' -e "1111" -x127.0.0.1:80 discuz.tobe.com -I -A 指定user-agent -e 指定referer -x 指定访问目标服务器的ip和por......

tobej
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部