加载中
hive sql转spark sql

hive sql和spark sql,所有的sql语句是通用的,主要是一些属性设置不一样,有些hive里没有,有些spark里面没有,或者有些spark底层实现了相同的功能,只是属性名称不一样了。下面列出一些hiv...

2016/08/19 15:38
779
编译cdh的spark,使得支持spark-sql

cloudera公司集成的spark是不带spark-sql的,如果需要让cdh的spark支持spark-sql,需要重新编译spark 网上有参考资料,大概步骤是编译,替换jar包,把spark-sql的shell脚本放到bin目录下,注...

2016/08/05 16:25
2.2K
flume source channel sink

flume的source channel sink官网文档很丰富,有什么配置项不清晰直接参考官网文档。文档里面的粗体项是指必须配置的项。参考:Flume Sources source 1.Spooling Directory Source.监控某个目...

2016/08/05 14:55
276
spark streaming:api使用

transformation 1.textFileStream(path) 监控hdfs中的path目录,path目录必须已经存在,path中已有的文件不会作为输入,只会把新加入的文件作为输入,一定要注意,在window中,启动eclipse中...

2016/08/03 17:27
152
maven项目添加resources目录*

有些时候在maven项目中不好添加资源resources目录,添加的resources目录要么显示不对位置,要么不显示,下面是新建resources目录的步骤。注意新建的文件夹名字一定要是resources,不能取错了...

2016/08/01 14:07
3.1K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部