文档章节

《数学之美》—统计语言模型

小木fan
 小木fan
发布于 2017/07/29 11:26
字数 300
阅读 7
收藏 0

摘要和理解:

  1. S表示一个有意义的句子,由一连串特定序列的词w1,w2,w3...,wn组成,n表示句子的长度。

        S出现的概率: P(S) = P(w1,w2,w3...,wn)

              条件概率—P(S) = P(w1) * P(w2|w1) * P(w3|w1,w2)...*P(wn|w1,w2...,wn-1)

      马尔科夫假设—P(S) = P(w1) * P(w2|w1) * P(w3|w2)...P(wi|wi-1)*P(wn|wn-1)         ——二元模型

              P(wi|wi-1) = P(wi,wi-1)|P(wi-1)  P(wi,wi-1)-联合概率 P(wi-1)-边缘概率

    2.N元模型

    3.模型的训练-使用语言模型需要知道模型中所有的条件概率,我们称之为模型的参数。通过对语料的统计,得到这些参数的过程称作模型的训练。统计语言的零概率问题-不平滑

    4.古德-图灵估计:对于没有看见的事件,我们不能认为它发生的概率就是零,因此我们从概率的总量中,分配一个很小的比例给这些没有看见的事件。

        

                                               

 

 

 

 

   5.训练数据-语料库的选取:噪音高低、过滤

© 著作权归作者所有

小木fan
粉丝 1
博文 52
码字总数 13186
作品 0
绵阳
私信 提问
大数据、机器学习及人工智能必读书目——《数学之美》

  计分析、机器学习即人工智能必读书目系列之数学之美      我们已经进入了全新的数据时代,大数据、云计算、物联网、机器学习、人工智能等等一系列技术纷至沓来,数据的管理和应用已经...

爱编程爱统计
2017/09/09
0
0
吾爱NLP--我与自然语言处理

0、自然语言处理--NLP 0.1 数字、文本、语言 "数字、文字和自然语言处理一样,都是信息的载体,数字与语言的产生都是为了同一个目的----记录和传播信息。" --《数学之美》 文字只是信息的载体...

流川枫AI
2017/06/13
0
0
学习资料参考:从深度学习到自然语言处理

学习资料参考:从深度学习到自然语言处理 注意:本文已经更新,新版结合深度学习简介和发展历程,给出了更详尽的学习资料参考。新版链接:深度学习简介与学习资料参考 本文主要介绍一些与和相...

PeterYuan
2016/04/07
0
0
吴军:Google 中日韩文搜索算法的主要设计者,因《浪潮之巅》享誉业界 | CNCC 2018

雷锋网 AI 科技评论按:作为一位计算机科学家,吴军博士有两个最为人所知的身份,一是他是当前 Google 中日韩文搜索算法的主要设计者,曾一度为 Google 贡献了整个代码库 0.7% 的代码;另一是...

丛末
2018/09/12
0
0
机器学习算法

什么是程序(Program) 计算机程序,是指为了得到某种结果而可以由计算机(等具有信息处理能力的装置)执行的代码化指令序列(或者可以被自动转换成代码化指令序列的符号化指令序列或者符号化...

云栖希望。
2017/12/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
14分钟前
1
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
4
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
13
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
13
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部