文档章节

本地调试虚拟机Spark错误,不能运行

z
 zhu97
发布于 2017/08/24 17:37
字数 386
阅读 17
收藏 0
17:25:21.856 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:06.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:21.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

日志出现这个错误

1.其实是本机和虚拟机通信出现了问题

2.保证自己和虚拟机能够ping通,在同一网段

3.在我们在idea中跑spark的程序时候,有时候是使用的本地的ip地址,不是虚拟机那个ip地址

4.我们应该使用左边那个网络就没有问题了

5.最简单的解决方式:

    禁用右边那个以太网,留下左边那个虚拟机的网络,本地就可以进行spark测试了,

        

© 著作权归作者所有

共有 人打赏支持
z
粉丝 2
博文 19
码字总数 3036
作品 0
成都
Spark源码分析调试环境搭建

目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 I...

火力全開
2017/10/26
0
0
Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj
05/24
0
0
IDEA导入spark源代码调试

获取源码 官网下载源码到本地后,需要先进行编译,参考官方文档,编译很简单,这里使用4个线程,跳过tests,以此加速编译。这个编译会产生一些必要的源代码,如Catalyst项目下的,所以是必要...

火力全開
2017/10/26
0
0
[Spark]Spark 应用程序部署工具spark-submit

1. 简介 Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器,因此不必为每个集群管理器专门配置你的应用程序(It can use al...

sjf0115
2017/02/16
0
0
在Windows上build Spark

在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下...

wangyugod
2014/11/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot 入门 - 进阶篇(4)- REST访问(RestTemplate)

经常需要发送一个GET/POST请求到其他系统(REST API),通过JDK自带的HttpURLConnection、Apache HttpClient、Netty 4、OkHTTP 2/3都可以实现。 HttpClient的使用:http://rensanning.iteye.c...

onedotdot
6分钟前
0
0
Wi-Fi也有版本号了!

据Solidot消息,行业组织 Wi-Fi 联盟宣布当前的版本 Wi-Fi 802.11ac 重命名为 Wi-Fi 5,而下一个版本 802.11ax 重命名为 Wi-Fi 6,之前的版本 802.11n 改名为 Wi-Fi 4。 Wi-Fi 标准之前使用单...

linux-tao
7分钟前
0
0
项目经验不丰富、技术不突出的程序员怎么打动面试官?

前言 相信不少的程序员都有过类似的困惑:如果我没有大型的项目经历,也不能靠技术征服面试官,那我要怎么才能给面试官留下一个好印象呢? 按照本人的面试经验来说,面试主要看几点:项目经验...

Mamba1
18分钟前
1
0
MyBatis 源码分析----MyBatis 整体架构概要说明

MyBatis整体架构 MyBatis的整体架构分为三层1:基础支持层,2:核心处理层,3:接口层 1:基础支持层: 1-1反射模块: 该模块对Java 原生的反射进行了良好的封装,提供了更加简洁易用的API ,...

西瓜1994
24分钟前
4
0
如何让 J2Cache 在多种编程语言环境中使用

现在的系统是越来越复杂了,不仅仅是功能复杂,系统结构也非常复杂,而且经常在一个系统里包含几种不同语言编写的子系统。例如用 JavaScript 做前端开发、用 Java/PHP 等等做后端,C/C++/Go ...

红薯
25分钟前
35
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部