1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
Hive和HBase有哪些区别与联系及适用场景
hive Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂...
原
Spark 数据倾斜
什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话，就会产生数据倾斜，导致两个后果： OM（单或少数的节点）； 拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点...
原
spark mlilib 聚类 KMeans
一般来说，回归即是预测,分类是指有监督的学习，即要分类的样本是有标记的，类别是已知的； 聚类是指无监督的学习，样本没有标记，根据某种相似度度量，将样本聚为 K类
原
spark mllib 朴素贝叶斯 应用案例
朴素贝叶斯,可应用于垃圾邮件，短信的分类僵尸粉的鉴定等.下面以僵尸粉的鉴定为例
原
Spark 小内容
Spark 的一些内容 1.函数作用以及返回值类型 foreach flatMap 返回的迭代器的所有内容构成新的RDD 是一个序列化的数据而不是单个数据项-- a Seq map map：对集合中每个元素进行操作。 flatMa...
原
Spark SQL
Hive On Spark和SparkSQL都是一个翻译层 把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。 两种方式使用SparkSQL，Spark SQL is a Spark module for structured data pro...
分布式系统基本原理
三元组 其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种： 节点 -- 系统...
原
JAVA内存泄漏和内存溢出的区别和联系
JAVA内存泄漏和内存溢出的区别和联系 1、内存泄漏memory leak : 是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄漏似乎不会有大的影响，但内存泄漏堆积后的后果就是内存溢出。 ...
原
hive 实战总结
hive 体系架构 启动 hive 命令行 进入hive安装目录，输入bin/hive的执行程序，或者输入 hive –service cli hive脚本的执行方式大致有三种 hive可以直接敲hive命令进入interactive模式，直接...
原
荐
tensorflow 之 卷积神经网络
应用场景 图像识别与检索 人脸识别 性别/年龄/情绪识别 物体检测 视频处理 语音分析 概述 一般一个卷积神经网络由多个卷积层构成，在卷基层内部通常会有如下几个操作： 图像通过多个卷积核滤...
原
Spark 内存管理
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳...
原
荐
tensorflow 之循环神经网络
应用场景： 应用于语音识别 语音翻译 机器翻译 RNN RNN（Recurrent Neural Networks,循环神经网络）不仅会学习当前时刻的信息，也会依赖之前的序列信息。 由于其特殊的网络模型结构解决了信息...
原
深度学习——激活函数Sigmoid/Tanh/ReLU
激活函数(Activation Function)的特点： 非线性： 当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。 可微： 当优化方法是基于梯度的时候，这个性质是必须的。 单调...
原
http之头域
每个头域由一个域名，冒号（:）和域值三部分组成。域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被扩展为多行，在每行开始处，使用至少一个空格或制表符。 1、请求信息： ...
原
linux 常用命令总结
新手非常有用的20个命令 1. ls命令 ls命令是列出目录内容(List Directory Contents)的意思。运行它就是列出文件夹里的内容，可能是文件也可能是文件夹。 “ls -l”命令已详情模式(long listi...
原
算法回顾
第一章：算法简介 二分查找： log10100相当于问“将多少个10相乘 的结果为100，答案是两个：10 × 10 = 100。因此，log10100 = 2。 算法效率： 总结： 二分查找的速度比简单查找快得多。 O(...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复