文档章节

KL散度

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:24
字数 220
阅读 1
收藏 0
点赞 0
评论 0

KL散度(Kullback-Leibler divergence)是描述两个概率分布 P 和 Q 差异的一种方法。在概率论或信息论中,又称相对熵(relative entropy)。它是非对称的,这意味着 D(P||Q) ≠ D(Q||P) 。特别的,在信息论中,D(P||Q) 表示当用概率分布 Q 来拟合真实分布 P 时,产生的信息损耗,其中 P 表示真实分布,Q 表示 P 的拟合分布。

对于一个离散型随机变量的两个概率分布 P 和 Q 来说,他们的 KL 散度定义为:


对于一个连续型的随机变量,可以定义为:


利用 Tensorflow 实现一个散列型的KL散度,代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import tensorflow as tf 

def KLD(p, q):
    return tf.reduce_sum(tf.mul(p, tf.log(tf.div(p,q))))

with tf.Session() as sess:
    p=tf.constant([1,2,3,4], tf.float32)
    q=tf.constant([1.0001,2.00009,2.999991,3.99998], tf.float32)
    print sess.run(KLD(p,q))

本文转载自:http://www.jianshu.com/p/0a4e82e164b2

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
如何理解KL散度的不对称性?

     众所周知,多被用于量化分布间的差异的 KL 散度是不对称的。今天我们来聊一聊,两个分布的一对 KL 散度之间究竟有什么不同。      为了讨论这个知识点,我们需要掌握(或者暂且...

机器之心
03/01
0
0
教程 | 如何理解KL散度的不对称性

众所周知,多被用于量化分布间的差异的 KL 散度是不对称的。今天我们来聊一聊,两个分布的一对 KL 散度之间究竟有什么不同。 为了讨论这个知识点,我们需要掌握(或者暂且当做已知)的先决知...

机器之心
03/01
0
0
入门 | 初学机器学习:直观解读KL散度的数学概念

  选自thushv.com   作者:Thushan Ganegedara   机器之心编译   参与:Panda      机器学习是当前最重要的技术发展方向之一。近日,悉尼大学博士生 Thushan Ganegedara 开始撰写...

机器之心
05/29
0
0
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论

信息论与信息熵是 AI 或机器学习中非常重要的概念,我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中,我们从最基本的自信息和信息熵到交叉熵讨论了信息论...

机器之心
01/14
0
0
初学机器学习:直观解读KL散度的数学概念

选自thushv.com,作者:Thushan Ganegedara,机器之心编译。 代码:github.com/thushv89/nl… 基础概念 首先让我们确立一些基本规则。我们将会定义一些我们需要了解的概念。 分布(distribut...

05/30
0
0
斯坦福CS224N深度学习自然语言处理(四)--上

国内视频地址:斯坦福CS224N深度学习自然语言处理课程(四)词窗分类与神经网络 (这节课开始时用很大的篇幅去回顾些基础,分类的知识和softmax等。) (对语义的vector做分类) (SVM只选自...

见鹿
2017/06/08
0
0
EM算法的九层境界:​Hinton和Jordan理解的EM算法

前言 为什么说EM算法是他们强强发力的领域呢? 这里我们讨论Hinton和统计大神Jordan的强强发力的领域。当Bayes网络发展到高级阶段, 概率图模型使得计算成为问题,由此开启了Variational Bay...

技术小能手
2017/12/15
0
0
Hinton和Jordan理解的EM算法

在“Hinton是如何理解PCA?”里面,我们体会到Hinton高人一等的见解。 Hinton, 这个深度学习的缔造者( 参考攒说 Geoff Hinton) , Jordan 当世概率图模型的集大成者(参考 “乔丹上海行”),...

史春奇
2017/11/14
0
0
交叉熵代价函数(作用及公式推导)

1 前言 注意两个名词的区别: 相对熵:Kullback–Leibler divergence 交叉熵:cross entropy KL距离的几个用途: ① 衡量两个概率分布的差异。 ② 衡量利用概率分布Q 拟合概率分布P 时的能量...

witnessai1
03/15
0
0
业界 | Petuum提出深度生成模型统一的统计学框架

  选自Medium   作者:Zhiting Hu   机器之心编译   参与:刘晓坤、路、邹俏也      Petuum 和 CMU 合作的论文《On Unifying Deep Generative Models》提出深度生成模型的统一框...

机器之心
04/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

OSChina 周一乱弹 —— 你的朋友圈有点生锈了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @Devoes :分享Trademark的单曲《Only Love (电视剧《妙手仁心 II》插曲)》: 《Only Love (电视剧《妙手仁心 II》插曲)》- Trademark 手机党少...

小小编辑
今天
203
9
【面试题】盲人坐飞机

有100位乘客乘坐飞机,其中有一位是盲人,每位乘客都按自己的座位号就坐。由于盲人看不见自己的座位号,所以他可能会坐错位置,而自己的座位被占的乘客会随便找个座位就坐。问所有乘客都坐对...

garkey
今天
1
0
谈谈神秘的ES6——(二)ES6的变量

谈谈神秘的ES6——(二)ES6的变量 我们在《零基础入门JavaScript》的时候就说过,在ES5里,变量是有弊端的,我们先来回顾一下。 首先,在ES5中,我们所有的变量都是通过关键字var来定义的。...

JandenMa
今天
1
0
arts-week1

Algorithm 594. Longest Harmonious Subsequence - LeetCode 274. H-Index - LeetCode 219. Contains Duplicate II - LeetCode 217. Contains Duplicate - LeetCode 438. Find All Anagrams ......

yysue
今天
2
0
NNS拍卖合约

前言 关于NNS的介绍,这里就不多做描述,相关的信息可以查看NNS的白皮书http://doc.neons.name/zh_CN/latest/nns_background.html。 首先nns中使用的竞价货币是sgas,关于sgas介绍可以戳htt...

红烧飞鱼
今天
1
0
Java IO类库之管道流PipeInputStream与PipeOutputStream

一、java管道流介绍 在java多线程通信中管道通信是一种重要的通信方式,在java中我们通过配套使用管道输出流PipedOutputStream和管道输入流PipedInputStream完成线程间通信。多线程管道通信的...

老韭菜
今天
0
0
AB 压力测试

Ubuntu 安装AB apapt-get install apache2-utils 使用AB 压力测试 -c 并发数 -n请求总数 ab -c 3000 -n 10000 http://localhost/test/index.php AB只能测试localhost 返回结果 This is Apac......

xiawet
今天
0
0
用Python绘制红楼梦词云图,竟然发现了这个!

Python在数据分析中越来越受欢迎,已经达到了统计学家对R的喜爱程度,Python的拥护者们当然不会落后于R,开发了一个个好玩的数据分析工具,下面我们来看看如何使用Python,来读红楼梦,绘制小...

猫咪编程
今天
1
0
Java中 发出请求获取别人的数据(阿里云 查询IP归属地)

1.效果 调用阿里云的接口 去定位IP地址 2. 代码 /** * 1. Java中远程调用方法 * http://localhost:8080/mavenssm20180519/invokingUrl.action * @Title: invokingUrl * @Description: * @ret......

Lucky_Me
今天
1
0
protobuf学习笔记

相关文档 Protocol buffers(protobuf)入门简介及性能分析 Protobuf学习 - 入门

OSC_fly
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部