文档章节

本地调试虚拟机Spark错误,不能运行

z
 zhu97
发布于 2017/08/24 17:37
字数 386
阅读 174
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

17:25:21.856 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:25:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:06.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:21.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
17:26:51.855 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

17:25:36.854 WARN  org.apache.spark.internal.Logging$class 66 logWarning - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

日志出现这个错误

1.其实是本机和虚拟机通信出现了问题

2.保证自己和虚拟机能够ping通,在同一网段

3.在我们在idea中跑spark的程序时候,有时候是使用的本地的ip地址,不是虚拟机那个ip地址

4.我们应该使用左边那个网络就没有问题了

5.最简单的解决方式:

    禁用右边那个以太网,留下左边那个虚拟机的网络,本地就可以进行spark测试了,

        

© 著作权归作者所有

z
粉丝 5
博文 27
码字总数 4354
作品 0
成都
私信 提问
加载中

评论(0)

Spark源码分析调试环境搭建

目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 I...

火力全開
2017/10/26
72
0
Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj
2018/05/24
0
0
spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

##1 概述开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑...

osc_eibr31r7
04/16
4
0
spark源码单步跟踪阅读-从毛片说起

想当年读大学时,那时毛片还叫毛片,现在有文明的叫法了,叫小电影或者爱情动作片。那时宿舍有位大神,喜欢看各种毛片,当我们纠结于毛片上的马赛克时,大神大手一挥说道:这算啥,阅尽天下毛...

osc_mo4m2o49
2018/09/11
2
0
工作日志——基于k8s搭建spark集群

使用k8s搭建spark集群 这几天尝试在k8s中搭建spark集群,踩了一些坑,跟大家分享一下。 Spark的组件介绍可参考官方文档 大数据生态圈简介可参考这篇文章 基于k8s官方示例 具体参考github k8...

店家小二
2018/12/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

文献速递20200524

一 文献题目:Characterizing the Causal Pathway for Genetic Variants Associated with Neurological Phenotypes Using Human Brain-Derived Proteome Data 不想看英文题目:使用人脑蛋白质......

osc_mbhfa1vl
45分钟前
9
0
【Java入门】JDK安装和环境变量配置(Win7版)

系统环境:Windows7 x64 安装JDK和JRE版本:1.8.0_191 1、下载JDK安装包 Oracle官网下载网址:https://www.oracle.com/technetwork/java/javase/downloads/index.html 选择需要下载的JDK版本...

osc_s7aj86hu
46分钟前
11
0
Android Q 指纹解锁流程

Android Q 指纹解锁流程 // Authentation Finger Schedule: (close Screen, Authentation with finger(Success))        // PhoneWindowManager        mKeyguardDelegate.onStar......

osc_0qnrwmy3
48分钟前
12
0
List的扩容机制,你真的明白吗?

一:背景 1. 讲故事 在前一篇大内存排查中,我们看到了Dictionary正在做扩容操作,当时这个字典的count=251w,你把字典玩的66飞起,其实都是底层为你负重前行,比如其中的扩容机制,当你遇到...

osc_34b9n45c
49分钟前
14
0
2020.04.12软件更新公告

原创软件区升级ComicsViewer、DjVuToy、Pdg2Pic、PdgRenamer、PdgThumbViewer

osc_6tgtqi6v
50分钟前
23
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部