sunmin的个人页面

2016/06/29 17:27

1.2K

1.数据计算层 01.数据计算层-主要考虑方面计算平台：离线数据计算实时数据计算管理：元数据模型整合和应用、数据表的规范命名存储元数据：运行数据： 2.计算的数据分层：数据加工链路 ...

Apache HBase iOS MySQL Hive YC

hadoop

2019/04/11 16:11

13

Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能...

Falcon Apache Atlas Apache Ranger Hive Hadoop

分布式

2019/06/20 18:45

1.4W

推荐系统概述：通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。推荐系统在用户(USER)和物品(ITEM)之间建立一座桥梁，帮助用户找到...

推荐系统

2019/04/23 15:07

78

背景之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择...

Azkaban Oozie Hadoop WorkFlow

2019/06/20 15:05

78

机器学习分类，算法比较，使用场景

机器学习分类算法比较使用场景

机器学习

2016/11/17 16:39

908

第一章：算法简介二分查找： log10100相当于问“将多少个10相乘的结果为100，答案是两个：10 × 10 = 100。因此，log10100 = 2。算法效率：总结：二分查找的速度比简单查找快得多。 O(...

Character Recognition NLog DivideAndConquer Count_Down def

数据结构和算法

2019/03/19 16:02

4

Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化had...

Data Pipeline Oozie Falcon Apache Atlas Apache Falcon

2019/06/20 16:41

885

hive Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂...

HDFS Apache HBase MapReduce Hive Hadoop

2019/04/24 16:26

11

最简单，最易懂，最实用的HBase，快速上手必备收藏

HBase java API

hadoop

2016/11/24 17:36

888

什么是数据倾斜比方WordCount中某个Key对应的数据量非常大的话，就会产生数据倾斜，导致两个后果： OM（单或少数的节点）；拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点...

Apache Spark SparkWeb

2019/03/21 09:57

98

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳...

Apache Spark

2019/03/19 17:48

22

为了测验500万全真用户全文检索性能，准备数据

elastic

2016/08/04 16:07

1.2K

JAVA内存泄漏和内存溢出的区别和联系 1、内存泄漏memory leak : 是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄漏似乎不会有大的影响，但内存泄漏堆积后的后果就是内存溢出。 ...

Java

JAVA

2019/04/09 20:56

810

三元组其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种：节点 -- 系统...

HDFS ZooKeeper MySQL Cassandra Chubby

2019/04/08 16:36

12

每个头域由一个域名，冒号（:）和域值三部分组成。域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被扩展为多行，在每行开始处，使用至少一个空格或制表符。 1、请求信息： ...

http协议

2015/11/26 13:58

105

Hive On Spark和SparkSQL都是一个翻译层把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。两种方式使用SparkSQL，Spark SQL is a Spark module for structured data pro...

Apache Spark

2019/04/11 14:56

32

hive 体系架构启动 hive 命令行进入hive安装目录，输入bin/hive的执行程序，或者输入 hive –service cli hive脚本的执行方式大致有三种 hive可以直接敲hive命令进入interactive模式，直接...

MapReduce Hive

2019/04/10 10:36

267

spark mllib 逻辑回归胃癌转移判断案例

spark mllib 分类预测逻辑回归胃癌转移判断案例

机器学习

2016/07/28 19:22

1.2K