文档章节

KL散度

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:24
字数 220
阅读 4
收藏 0

KL散度(Kullback-Leibler divergence)是描述两个概率分布 P 和 Q 差异的一种方法。在概率论或信息论中,又称相对熵(relative entropy)。它是非对称的,这意味着 D(P||Q) ≠ D(Q||P) 。特别的,在信息论中,D(P||Q) 表示当用概率分布 Q 来拟合真实分布 P 时,产生的信息损耗,其中 P 表示真实分布,Q 表示 P 的拟合分布。

对于一个离散型随机变量的两个概率分布 P 和 Q 来说,他们的 KL 散度定义为:


对于一个连续型的随机变量,可以定义为:


利用 Tensorflow 实现一个散列型的KL散度,代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import tensorflow as tf 

def KLD(p, q):
    return tf.reduce_sum(tf.mul(p, tf.log(tf.div(p,q))))

with tf.Session() as sess:
    p=tf.constant([1,2,3,4], tf.float32)
    q=tf.constant([1.0001,2.00009,2.999991,3.99998], tf.float32)
    print sess.run(KLD(p,q))

本文转载自:http://www.jianshu.com/p/0a4e82e164b2

共有 人打赏支持
AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
【机器学习基础】熵、KL散度、交叉熵

  熵(entropy)、KL 散度(Kullback-Leibler (KL) divergence)和交叉熵(cross-entropy)在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分,使得熵下降最...

wuliytTaotao
2018/09/27
0
0
如何理解KL散度的不对称性?

     众所周知,多被用于量化分布间的差异的 KL 散度是不对称的。今天我们来聊一聊,两个分布的一对 KL 散度之间究竟有什么不同。      为了讨论这个知识点,我们需要掌握(或者暂且...

机器之心
2018/03/01
0
0
教程 | 如何理解KL散度的不对称性

众所周知,多被用于量化分布间的差异的 KL 散度是不对称的。今天我们来聊一聊,两个分布的一对 KL 散度之间究竟有什么不同。 为了讨论这个知识点,我们需要掌握(或者暂且当做已知)的先决知...

机器之心
2018/03/01
0
0
入门 | 初学机器学习:直观解读KL散度的数学概念

  选自thushv.com   作者:Thushan Ganegedara   机器之心编译   参与:Panda      机器学习是当前最重要的技术发展方向之一。近日,悉尼大学博士生 Thushan Ganegedara 开始撰写...

机器之心
2018/05/29
0
0
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论

信息论与信息熵是 AI 或机器学习中非常重要的概念,我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中,我们从最基本的自信息和信息熵到交叉熵讨论了信息论...

机器之心
2018/01/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

查询改写参数配置

参数配置有哪些选项:

Java搬砖工程师
12分钟前
1
0
elasticsearch知识点

elasticsearch基础知识: 基础知识: 1 集群: 主节点不涉及文档级别的变更或搜索 只负责索引的变更 删除 和 集群节点的加入和删除 技术上来说,一个主分片最大能够存储 Integer.MAX_VALUE - 12...

geek土拨鼠
14分钟前
1
0
ECS(Entity-Component-System)

ECS是一种思想 TODO

梦想游戏人
15分钟前
1
0
Navicat使用教程:使用Navicat Premium 12自动执行数据库复制(一)

下载Navicat Premium最新版本 Navicat Premium是一个可连接多种数据库的管理工具,它可以让你以单一程序同时连接到MySQL、Oracle及PostgreSQL数据库,让管理不同类型的数据库更加的方便。 与...

电池盒
17分钟前
3
0
docker 新手向 - 防止容器自动退出的解决方案

本文主要简单介绍 docker 容器与前置进程的关系,以及如何编写 Dockerfile/docker-compose.yml 优雅的让容器可以常驻运行。 docker 容器的生命周期是同容器中的前置进程相关在一起的,这也是...

big_cat
20分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部