连击 天
fork: star:
OLTP和OLAP的区别 OLTP(on-line transaction processing)翻译为联机事务处理, 或者在线交易处理系统 OLAP(On-Line Analytical Processing)翻译为联机分析处理,或者在线分析系统 从字面...
开源大数据OLAP组件,可以分为MOLAP和ROLAP两类。ROLAP中又可细分为MPP数据库和SQL引擎两类。对于SQL引擎又可以再细分为基于MPP架构的SQL引擎和基于通用计算框架的SQL引擎: MOLAP一般对数据...
数据生产面临的挑战 数据爆炸,每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题: 历史数据每日刷新,失去了增量的意义。 每日回溯历史数据量大,10亿+的历史数据...
yum安装 安装 JDK1.8 的命令如下: sudo yum install -y java-1.8.0-openjdk*安装 安装目录 ll /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64 加入环境变量 export JAVA_HOME=/usr/lib/jv...
目前的项目中需要将kafka队列的数据实时存到hive表中。 import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer impo...
Hive分组取Top N Hive在0.11.0版本开始加入了row_number、rank、dense_rank分析函数,可以查询分组排序后的top值 使用规则: row_number() over ([partition col1] [order by col2] ) rank()...
G-B-D-T梯度提升决策树,顾名思义,是一个与梯度有关、对决策树进行了提升的机器学习模型。我们不妨从后往前依次聊聊GBD这几个定语,从而理解这个模型的精髓。 DT(Decision Tree)决策树。 ...
常用的回归(Regression)算法指标有平均绝对误差(Mean Absolute Error)、均方误差(Mean Squared Error)和均方根误差(Root Mean Squared Error)三种。 平均绝对误差(Mean Absolute Err...
This section covers algorithms for working with features, roughly divided into these groups 本节介绍使用功能的算法,大致分为以下几组: 提取: 从数据中抽取特征。 转变: Scaling, co...
MLlib: Main Guide Basic statistics 基本统计 Pipelines 管道 Extracting, transforming and selecting features 特征提取、转换和选择 Classification and Regression 分类和回归 Clusteri...
YumRepo Error [root@cs-1 ~]# yum install vim YumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid release/repo/arch combination/ removing mirrorlist wi...
cmd ipconfig 编辑虚拟机设置 虚拟网络编辑器 编辑 ifcfg-eth0 [root@cs-1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes B...
SparkDataFrame 将1列m行 转为1列1行 df.agg(collect_set("列名")) +--------------------- |collect_set(rules) ......
UDF函数 def myUdf(id: Int) = s"tag$id" sqlContext.udf.register("myUdf", myUdf(_:Int)) df.registerTempTable("tb1") sqlContext.sql("select myUdf(col1) from tb1 ") val myUdf = ...
SQL的常见的操作 -- 创建和删除数据库 create database if not exists userdb; drop databases if exists userdb; --查看表的详细信息 show create table tablename; --查询一张表,创建一张...
Spark的隐式转化 出现map这种编译异常 })(?:Encoder[ArrayBuffer[Nothing]] import spark.implicits._ import org.apache.spark.sql.functions._ scala 的 mutable scala 可变数组 scala.co...
没有更多内容
加载失败,请刷新页面
文章删除后无法恢复,确定删除此文章吗?
动弹删除后,数据将无法恢复
评论删除后,数据将无法恢复