java.lang.NoClassDefFoundError: org/apache/spark/Logging

原创
2017/03/26 12:39
阅读数 5.5K

spark streaming 访问kafka遇到的问题:

java.lang.NoClassDefFoundError: org/apache/spark/Logging

1: 因为spark-core_2.11-2.0.0.jar和spark-core_2.11-1.5.2.jar,发现2.0版本确实少了org.apache.spark.Logging

解决办法:

  新建Logging 对象,打成jar包并扔到spark各个node下的 jars里即可。

2: 2.0访问kafka 时jars文件夹下并没有任何kafka的相关类所以需要把如下几个包下载扔到各个节点的jars下 kafka_2.11-0.8.2.1.jar,spark-streaming-kafka_2.11-1.5.2.jar,kafka-clients-0.8.2.1.jar,metrics-core-2.2.0.jar

3: 在kafka里创建topic时,要正确区分程序里的topic 与groupid(为消费者对象标识)

4.kafka-console-producer.sh 端口默认是9092

/kafka-console-producer.sh --topic 20170326 --broker-list node1:9092,node2:9092,node3:9092

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部