文档章节

本地调试虚拟机Spark错误,不能运行

z
 zhu97
发布于 2017/08/24 17:37
字数 386
阅读 27
收藏 0
17:25:21.856 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:06.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:21.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

日志出现这个错误

1.其实是本机和虚拟机通信出现了问题

2.保证自己和虚拟机能够ping通,在同一网段

3.在我们在idea中跑spark的程序时候,有时候是使用的本地的ip地址,不是虚拟机那个ip地址

4.我们应该使用左边那个网络就没有问题了

5.最简单的解决方式:

    禁用右边那个以太网,留下左边那个虚拟机的网络,本地就可以进行spark测试了,

        

© 著作权归作者所有

共有 人打赏支持
z
粉丝 3
博文 21
码字总数 3429
作品 0
成都
私信 提问
Spark源码分析调试环境搭建

目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 I...

火力全開
2017/10/26
0
0
Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj
05/24
0
0
IDEA导入spark源代码调试

获取源码 官网下载源码到本地后,需要先进行编译,参考官方文档,编译很简单,这里使用4个线程,跳过tests,以此加速编译。这个编译会产生一些必要的源代码,如Catalyst项目下的,所以是必要...

火力全開
2017/10/26
0
0
Spark On Yarn 中出现的问题记录

1:运行候一直retry master:8032的问题 分析:可能是因为yarn没有启动。 解决:检查是否启动了服务. 用jps命令查看相关信息[是否存在ResourceManager] 2: mory used; 2.2 GB of 2.1 GB virtu...

那年的暖风
09/27
0
0
[Spark]Spark 应用程序部署工具spark-submit

1. 简介 Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器,因此不必为每个集群管理器专门配置你的应用程序(It can use al...

sjf0115
2017/02/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

[开源系统] springboot快速开发框架推荐

本期为大家精选了 码云 上优秀的 Spring Boot 语言开源项目,涵盖了企业级系统框架、文件文档系统、秒杀系统、微服务化系统、后台管理系统等,希望能够给大家带来一点帮助:) 1、项目名称:...

MoksMo
4分钟前
0
0
深入解析Vue里函数的调用顺序介绍

今天为大家分享一篇对vue里函数的调用顺序介绍,写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批评指正。 method用来定义方法的,比如你@cl...

前端攻城老湿
11分钟前
0
0
深入总结Javascript原型及原型链

本篇文章给大家详细分析了javascript原型及原型链的相关知识点以及用法分享,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批评指正。 我们创建的每个函数都有一...

前端攻城小牛
13分钟前
0
0
千万级规模【高性能、高并发】互联网架构经验分享~

作者:Java关博 链接:http://blog.51cto.com/14049376/2329037?utm_source=tuicool&utm_medium=referral 架构以及我理解中架构的本质 在开始谈我对架构本质的理解之前,先谈谈对今天技术沙龙...

Java干货分享
14分钟前
0
0
缓存

并发情况下发生的缓存问题: 缓存一致性: 缓存穿透:是指在高并发场景下,如果某一个key被高并发的访问,缓存没有命中,出于容错性的考虑,会去数据库获取数据,从而导致大量请求访问数据库...

wuyiyi
18分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部