加载中
hive on spark 编译

前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在s...

sparksql与hive整合

hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>   <name>hive.metastore.uris</name>   <value>thrift://master:9083</value>   <description>Thrift uri f...

2015/09/22 15:19
2.7K
tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spa...

spark取得lzo压缩文件报错 java.lang.ClassNotFoundException

恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧 配置信息 hadoop core-site.xml配置 <property>    <name>io.compression.codecs</name>         <value>org.apache...

Tachyon 0.7.1伪分布式集群安装与测试

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件...

Apache Spark 1.5.0正式发布

Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。Spark 1.5.0...

2015/09/09 18:07
159
zeppelin入门使用

Display System text 默认使用scala语言输出text内容 shell html scala 输出html shell 输出html table scala shell table scala: shell: html: Manual 动态表格 使用表格模板 文本输入格式:...

spark standalone模式 zeppelin安装

1. 前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:...

2015/09/09 14:00
784
启动hive命令报错 “Metastore contains multiple versions”

错误日志:  Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMet...

在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

hadoop点击AM所在node节点的logs链接报错 "Sorry, got error 404"

问题描述 打开hadoop 集群地址,hostname:8088 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100 进去ApplicationMaster 信息页面 ...

spark implementation hadoop setup,cleanup

def main(args: Array[String]) { val sc = new SparkContext("local", "xxx") val inputData = sc.textFile("hdfs://master:8020/data/spark/user-history-data") val lines = inputData.ma...

2015/08/11 16:41
24
spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

基于spark1.3.1的spark-sql实战-02

Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse i...

基于spark1.3.1的spark-sql实战-01

sqlContext总的一个过程如下图所示: SQL语句经过SqlParse解析成UnresolvedLogicalPlan; 使用analyzer结合数据数据字典(catalog)进行绑定,生成resolvedLogicalPlan; 使用optimizer对res...

个人微信公众号,每天推送一篇高质量文章

个人微信公众号,每天推送一篇高质量文章

2015/03/11 12:41
412
非mapreduce生成Hfile,然后导入hbase当中

非mapreduce生成Hfile,然后导入hbase当中

Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

整合Kafka到Spark Streaming——代码示例和挑战

整合Kafka到Spark Streaming——代码示例和挑战

没有更多内容

加载失败,请刷新页面

返回顶部
顶部