Spark技术互动问答分享

原创
2014/07/24 17:12
阅读数 504

Q1:新手学习spark如何入手才好?

  • 先学习Scala的内容,强烈推荐《快学Scala》;

  • 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路(共3本书)”循序渐进的学习即可,其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题:包括Spark集群的构建,Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等,为了方便大家学习Spark,网络发布版本采用图文并茂的方式发布,这样大家在阅读的时候就像家林在身边做演示和讲解一样,不亦乐哉!以Spark集群的搭建为例,  对于90%以上想学习Spark的人而言,如何构建Spark集群是其最大的难点之一,为了解决大家构建Spark集群的一切困难,家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤,每个步骤为一个小节,从零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整的Spark集群。

Q2:我想问,hdfs的namenode挂了,怎么处理?

  • 使用ZooKeeper;

  • 使用Mesos;

  • 使用Yarn;

Q3:用python和scala区别大吗?

  • 就代码的风格而言是不大的;

  • 世界上也有很多人使用python开发Spark程序;

  • 但是最为推荐的是Scala,因为Spark框架是用Scala编写的,在API方面对Scala的支持也是最好的;

Q4:对几百T的数据,现在SPARK支持得如何?

  • Spark能够非常好的处理几十T或者几百T的数据;

  • 正如Spark能够轻松处理PB级别的数据;

Q5:可以结果直接输出到关系型数据库吗?

  • 目前不可以;

  • 一般都是把结果直接输出到HDFS上;

  • 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数据库中;

Q6:SPARK环境需要哪些? 除了HDFS基础,有SPARK集成包么?

  • Spark的安装需要Hadoop的HDFS;

  • Spark有自己的集成包,但是依旧需要HDFS的配合;

  • 同时Spark也可以部署到亚马逊云上;

Q7:spark的缺点是什么?不适合做什么?

  • 目前主要的缺点是对数据细粒度的支持不够好;

Q8:spark sql可以代替hive和hbase吗?

  • Spark SQL可以取代Hive;

  • Spark SQL可以完成HBase的大部分功能;

  • Spark Streaming配合Spark SQL可以取代HBase;

Q9:没有java基础可否直接看scala语言?

  • 可以直接看Scala语言;

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部