文档章节

本地调试虚拟机Spark错误,不能运行

z
 zhu97
发布于 2017/08/24 17:37
字数 386
阅读 10
收藏 0
17:25:21.856 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:06.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:21.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

日志出现这个错误

1.其实是本机和虚拟机通信出现了问题

2.保证自己和虚拟机能够ping通,在同一网段

3.在我们在idea中跑spark的程序时候,有时候是使用的本地的ip地址,不是虚拟机那个ip地址

4.我们应该使用左边那个网络就没有问题了

5.最简单的解决方式:

    禁用右边那个以太网,留下左边那个虚拟机的网络,本地就可以进行spark测试了,

        

© 著作权归作者所有

共有 人打赏支持
z
粉丝 2
博文 19
码字总数 3036
作品 0
成都
Spark源码分析调试环境搭建

目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 I...

火力全開
2017/10/26
0
0
Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj
05/24
0
0
IDEA导入spark源代码调试

获取源码 官网下载源码到本地后,需要先进行编译,参考官方文档,编译很简单,这里使用4个线程,跳过tests,以此加速编译。这个编译会产生一些必要的源代码,如Catalyst项目下的,所以是必要...

火力全開
2017/10/26
0
0
Spark笔记:RDD基本操作(上)

本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型,谈到RDD就会提到什么弹性分布式数据集,什么有向无环图,本文暂时不去展开这些高深概念,在阅读本文时候,大家可以就把RDD...

jingyang07
05/07
0
0
spark用程序提交任务到yarn

先介绍官网提交的例子,我用的是spark 0.9.0 hadoop2.2.0 一.使用脚本提交 1.使用spark脚本提交到yarn,首先需要将spark所在的主机和hadoop集群之间hosts相互配置(也就是把spark主机的ip和主...

zachary124
2014/04/08
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

python3.6 取整除法

python3.6 中取整除法运算逻辑如下: d 非零,那么商 q 满足这样的关系: a = qd + r ,且0 ≤ r n1=7//3#7 = 3*2 +1n2=-6.1//3#-7 = 3*(-3)+2'{},{}'.format(n1,n2) 从运行结果可以...

colinux
29分钟前
3
0
阶段总结——用虚拟机搭建一个高可用负载均衡集群架构

[toc] linux基本知识已经介绍完,现有一个业务需要操作,通过对这个项目的操作,可以复习、总结、巩固之前的知识点; ** 用13台虚拟机搭建一个高可用负载均衡集群架构出来,并运行三个站点,...

feng-01
33分钟前
0
0
mysql 设置utf8字符集 (CentOS)

1.查看数据库及mysql应用目前使用的编码方式 (1)链接mysql 客户端 (2)执行:status 结果: 2.修改mysql 应用的字符编码(server characterset ) (1)打开配置文件:vim /etc/mysql/my...

qimh
33分钟前
0
0
windows无法格式化u盘解决方法

1。点开始-运行-输入cmd-format f: /fs: fat32 (这里f:是指U盘所在盘符) 这个格式化会很慢 请耐心等待

大灰狼wow
44分钟前
0
0
MySql 8.0连接失败

原来,MySql 8.0.11 换了新的身份验证插件(caching_sha2_password), 原来的身份验证插件为(mysql_native_password)。而客户端工具Navicat Premium12 中找不到新的身份验证插件(caching_s...

放飞E梦想O
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部