文档章节

java.lang.NoClassDefFoundError: org/apache/spark/Logging

新大陆2号
 新大陆2号
发布于 2017/03/26 12:39
字数 170
阅读 1179
收藏 0

spark streaming 访问kafka遇到的问题:

java.lang.NoClassDefFoundError: org/apache/spark/Logging

1: 因为spark-core_2.11-2.0.0.jar和spark-core_2.11-1.5.2.jar,发现2.0版本确实少了org.apache.spark.Logging

解决办法:

  新建Logging 对象,打成jar包并扔到spark各个node下的 jars里即可。

2: 2.0访问kafka 时jars文件夹下并没有任何kafka的相关类所以需要把如下几个包下载扔到各个节点的jars下 kafka_2.11-0.8.2.1.jar,spark-streaming-kafka_2.11-1.5.2.jar,kafka-clients-0.8.2.1.jar,metrics-core-2.2.0.jar

3: 在kafka里创建topic时,要正确区分程序里的topic 与groupid(为消费者对象标识)

4.kafka-console-producer.sh 端口默认是9092

/kafka-console-producer.sh --topic 20170326 --broker-list node1:9092,node2:9092,node3:9092

 

© 著作权归作者所有

新大陆2号
粉丝 0
博文 8
码字总数 2458
作品 0
东城
私信 提问
[Spark]那些年我们遇到的Spark的坑

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72922155 1. java.lang.NoClassDefFoundError: org/apache/spark/Logging 1.1 问......

sjf0115
2017/06/08
0
0
ClassNotFoundException: org.apache.spark.Logging

System.out.println("--jssc, args[0], args[1], topicMap---" +jssc+"---"+args[0]+"---"+ args[1]+"---"+ topicMap); JavaPairReceiverInputDStream messages = KafkaUtils.createStream(j......

知行合一1
2017/06/30
901
0
 java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils

WARN streaming.StreamingContext: spark.master should be set as local[n], n > 1 in local mode if you have receivers to get data, otherwise Spark jobs will not get resources to pr......

知行合一1
2017/06/29
1K
0
java.lang.ClassNotFoundException: org.apache.spark.Logging     at java.net

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(Cla......

天池番薯
2017/07/26
1K
1
java.lang.ClassNotFoundException: org.apache.spark.examples.streaming.StreamingExamples

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/examples/streaming/StreamingExamples at org.apache.spark.examples.streaming.JavaKafkaWordCount.main(J......

知行合一1
2017/06/29
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
5
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
昨天
6
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
7
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部