加载中
Spark简介及完全分布式安装

Spark简介及完全分布式安装 一、Spark介绍 官方介绍: Apache Spark™ is a fast and general engine for large-scale data processing. Spark Introduce Run programs up to 100x faster t...

2018/05/12 10:44
873
Hadoop简介

说明 经过几年的工作,最近有时间,将自己的知识体系整合一下,发到博客中,共大家学习交流参考,如有错误请及时批评斧正,万分感谢。 首先我会介绍Hadoop生态圈的相关技术,后期放上来的文章...

SparkSQL简介及入门

SparkSQL简介及入门 一、概述 Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame(数据框)的编程抽象,DF的底层仍然是RDD,并且可以充当分布式SQL查询引...

2018/05/14 09:40
6.9K
用户属性展示项目总结

用户属性展示项目总结 一、项目介绍 根据公司MySQL数据库中存储的业务数据,针对用户相关一些维度,提取用户相关的属性字段,其中包括属性字段直接提取,金额字段的计算提起,日期字段的格式...

Hadoop-MapReduce基本原理及相关操作

Hadoop-MapReduce基本原理及相关操作 1、概述 1.思考 求和:1+3+5+8+2+7+3+4+9+...+Integer.MAX_VALUE。 这是一个简单的加法,如果这道题单台机器线性执行的话,可以想想这个时间的消耗有多...

2018/04/28 15:13
324
HIVE简介

HIVE简介 从这篇开始介绍Hive的一些列的技术点。 一、概述 1、MapReduce的问题 1.只能用Java开发,对于不会Java甚至不会编程的人员来说,这是一个门槛,例如:数据仓库开发工程师。 2.需要对...

2018/04/29 11:01
59
Kafka简介及安装配置

Kafka简介及安装配置 一、简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,使用Scala语言编写,之后成为Apache项目的一部分,目前是Apache的一个顶级项目。 Kafka是一个分布...

2018/05/01 09:16
320
Azkaban Two Server模式部署

Azkaban Two Server模式部署 Two Server模式就是把Azkaban和MySQL进行了分离,下面就介绍一下这种部署模式。 1、准备工作 1.结点规划 node1:azkaban-web、azkaban-exec node2:MySQL 这里本...

2018/12/29 16:31
848
Linux基础之软件包管理

Linux基础之软件包管理 一、文件压缩与打包 1、概念 压缩:指通过某些算法,将文件尺寸进行相应的缩小,同时不损失文件的内容。 打包:指将多个文件(或目录)合并成一个文件,方便传递或部署...

2018/07/29 13:21
29

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部