文档章节

斯坦福NLP笔记44 —— Evaluation of Named Entity Recogniti

陈清扬
 陈清扬
发布于 2014/07/19 11:55
字数 475
阅读 80
收藏 0

这一节基本是讲的这样一个问题:

譬如有这样一句话:邓紫棋这人,真庸俗。

然后你的NER系统在进行命名实体识别的时候把“邓紫”认成了一个实体,而把“棋”漏掉了,当然这样讲得通,从人名的统计规律上看,棋字作为人名的确少见。

后续对系统准确率的评判标准也因此展开。

在NLP中,我们每一个字称为一个token,譬如邓紫棋这个实体,一个实体拥有三个token,在标准的评判中,根据实体的准确率来看,而不根据token的准确率来看。

举个例子:约翰列侬和保罗麦科特尼在音乐理念上大有不合。

你的NER系统识别的结果是:约翰列侬

假设这句话包含的实体有三个:约翰列侬、保罗麦科特尼、音乐理念

那你这个系统的准确率就是100%,召回率:1/3,F1值:(2*1/3)/(1+1/3)

如果设别成了约翰列侬、保罗

那准确率就是50%,召回率:1/3。保罗那部分虽然对了一半,但也算你没识别出来。

通过这个例子可以看出,如果以F1值为评价标准的话,一个错误的识别比null要来的糟糕,因为召回率都一样,但是降低了准确率。用教授的话说就是,一个错误的识别相当于错了两次:少了一个positive、多了一个negative,而nothing的话只是少了一个positive

所以自然有其他的标准来改变这个问题,给予错误识别更公正的分数,譬如MUC score,但是缺点在于评判标准变得很复杂。实践中采用的往往还是F1标准。

© 著作权归作者所有

陈清扬
粉丝 5
博文 52
码字总数 23875
作品 0
海淀
私信 提问
李飞飞又有新动向,斯坦福 AI 实验室由 Christopher Manning 接棒

雷锋网(公众号:雷锋网) AI 科技评论按:11 月 19 日,斯坦福人工智能实验室发推文称,Christopher Manning 成为实验室新负责人,而前负责人李飞飞则将工作阵地转移到「以人为中心的 AI 计划...

丛末
2018/11/20
0
0
斯坦福AI实验室换帅!Christopher Manning接替李飞飞

机器之心报道。 今天,斯坦福 AI 实验室(SAIL)在官方 Twitter 上表示 Christopher Manning 成为新的负责人,而前一任负责人李飞飞负责「以人为中心的 AI 计划」。 看过斯坦福 CS224n 的读者...

机器之心
2018/11/20
0
0
重磅 | AI 第一高校 CMU 的「神经网络 NLP」课,中英字幕独家上线!

AI 研习社获得官方授权,汉化翻译卡耐基梅隆大学的11-747神经网络自然语言处理(2019春季),今天正式上线中英双语字幕版课程啦! 我们先来一睹为快—— 第一讲 课程介绍 & 使用神经网络做自...

雷锋字幕组
03/07
0
0
我的开源项目汇总(机器&深度学习、NLP、网络IO、AIML、mysql协议、chatbot)

TextAnalyzer https://github.com/sea-boat/TextAnalyzer A text analyzer which is based on machine learning,statistics and dictionaries that can analyze text. So far, it supports h......

超人汪小建
2018/07/12
0
0
Facebook AI的工业级NLP开源框架—— Pytext简介

1 简介 PyText是基于NLP深度学习技术、通过Pytorch构建的建模框架。PyText解决了既要实现快速实验又要部署大规模服务模型的经常相互冲突。它主要通过以下两点来实现上面的需求: 通过为模型组...

致Great
2018/12/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

skywalking(容器部署)

skywalking(容器部署) 标签(空格分隔): APM [toc] 1. Elasticsearch SkywalkingElasticsearch 5.X(部分功能报错、拓扑图不显示) Skywalking需要Elasticsearch 6.X docker network create......

JUKE
5分钟前
1
0
解决Unable to find a single main class from the following candidates [xxx,xxx]

一、问题描述 1.1 开发环境配置 pom.xml <plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><!--一定要对上springboot版本号,因......

TeddyIH
6分钟前
0
0
Dubbo服务限制大数据传输抛Data length too large: 13055248, max payload: 8388608解决方案

当dubbo服务提供者向消费层传输大数据容量数据时,会受到Dubbo的限制,报类似如下异常: 2019-08-23 11:04:31.711 [ DubboServerHandler-XX.XX.XX.XXX:20880-thread-87] - [ ERROR ] [com.al...

huangkejie
9分钟前
0
0
HashMap和ConcurrentHashMap的区别

为了线程安全,ConcurrentHashMap 引入了一个 “分段锁” 的概念。具体可以理解把一个大的 map 拆分成 N 个小的 Map 。最后再根据 key.hashcode( )来决定放到哪一个 hashmap 中去。 hashmap ...

Garphy
9分钟前
0
0
购买SSL证书需要注意哪些问题

为了保障网站的基本安全,为网站部署SSL证书,已经是一种常态了。各大浏览器对于安装了SSL证书的网站会更友好,并且不会发出“不安全”的提示。部署SSL证书之前首先得去给网站购买一个SSL证书...

安信证书
39分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部