spark-submit.sh spark-shell.sh spark-sql.sh thrift

原创
2016/04/12 10:51
阅读数 303

spark-submit.sh

提交spark任务

spark-shell.sh

spark的交互命令窗口,底层其实还是使用spark-submit.sh提交了一个任务,但是driver programing可以和外界交互。spark-shell中已经实例化了sc(SparkContext),同时使用sc实例化了一个sqlContext,是HiveContext的对象,可以hive交互,可以直接用sqlContext。如果要使用sql语言,则需要sqlContext.sql("aaa")。aaa就是sql语句了。

spark-sql.sh

可以直接在命令行里敲sql语句,可以和hive交互。

sbin/start-thriftserver.sh

打开thrift服务,这个服务和hiveserver2服务是类似的,只不过是spark的thrift,如果hive的hiveserver2服务打开了,会占用10000端口,那么spark的thrift服务就会提示端口被占用,具体thrift服务是如何使用的,参考之前的博客:jdbc连接hive查询

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部