加载中
HADOOP性能优化和运维

基于硬件,操作系统,JVM和HADOOP调参

孙子兵法

善读孙子者,不为其制敌之神奇,务求其自治之巩固。孙子兵法十三篇:始计,作战,谋攻,军形,兵势,虚实,军争,九变,行军,地形,九地,火攻,用间。此文为读书笔记,记录当前我的理解。欢...

2017/03/06 17:34
20
centos oracle 安装 踩坑实录 (三:踩坑与填坑大全)

1.安装oracle所需要的安装包 当你安装ORACLE的时候,缺依赖,按提示来,或者在下面的列表中自检。 yum -y install binutilscompat-libstdc++-33 compat-libstdc++-33.i686 elfutils-libelfe...

centos oracle 安装 踩坑实录 (一:环境与安装)

IBM x3650 服务器,操作系统 centos 5.1 32位, 安装 oracle 11g R2 32位。尝试过各种坑之后结论,尽量选择高版本oracle,中等版本的centos。oracle 10就不要用了。安装之后附加各种出现的大...

HBase 架构和 Java Api

最简单,最易懂,最实用的HBase,快速上手必备收藏

2016/11/24 17:36
837
机器学习总览与场景使用大全

机器学习分类,算法比较,使用场景

Flume+Kafka+SparkStreaming 最新最全整合

Flume+Kafka+SparkStreaming整合,为日志分析做准备工具.kafka_2.11,flume1.6.参考了google的前四页,baidu的前15页所有相关消息,很有价值,为节约大家时 间,特分享,求点赞...

大数据安全 Ranger

简介 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、YARN、Hive、HBase等进行细粒度的数据访问控制。通过Ranger统一的管理控制台界面,管理...

元数据治理 Apache Atlas

Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能...

大数据生命周期管理框架Apache Falcon简介

Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化had...

大数据调度工具oozie详细介绍

背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择...

先验分布 后验分布 似然估计

一、先验分布 对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原因的经验推断。 对于一个未知参数...

06/03 15:54
3
技术团队怎么带

如何带好一支技术团队呢? 作为过来人,我觉得不能光谈团队管理,忽略自我管理。 自我管理 任何管理都要先做好自己管理。 做好个人工作和家庭的时间管理 保持个人技术先进性,有深度有广度,...

04/25 18:47
8
Hive和HBase有哪些区别与联系及适用场景

hive Hive是运行在Hadoop上的一个工具,准确地讲是一个搜索工具。当对海量数据进行搜索时,Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂...

推荐系统-协同过滤

推荐系统概述: 通过对用户历史行为数据的挖掘发现用户的偏好,基于不同的偏好对用户进行群组划分并推荐品味相似的商品。 推荐系统在用户(USER)和物品(ITEM)之间建立一座桥梁, 帮助用户找到...

04/23 15:07
7
LightGBM 算法原理

LightGBM 的动机 GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合...

XGBoost原理——机器学习大杀器

XGBoost是什么 Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。 在决策树中,我们知...

04/23 10:36
15
tensorflow 之循环神经网络

应用场景: 应用于语音识别 语音翻译 机器翻译 RNN RNN(Recurrent Neural Networks,循环神经网络)不仅会学习当前时刻的信息,也会依赖之前的序列信息。 由于其特殊的网络模型结构解决了信息...

深度学习——激活函数Sigmoid/Tanh/ReLU

激活函数(Activation Function)的特点: 非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。 可微: 当优化方法是基于梯度的时候,这个性质是必须的。 单调...

04/11 20:58
25
tensorflow 之 卷积神经网络

应用场景 图像识别与检索 人脸识别 性别/年龄/情绪识别 物体检测 视频处理 语音分析 概述 一般一个卷积神经网络由多个卷积层构成,在卷基层内部通常会有如下几个操作: 图像通过多个卷积核滤...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部