文档章节

假设检验、Z检验与T检验

o
 osc_7lh4ey2u
发布于 07/01 11:41
字数 3515
阅读 29
收藏 0

精选30+云产品,助力企业轻松上云!>>>

作者|SUBHASH MEENA
编译|VK
来源|Analytics Vidhya

概述

  • 假设检验是统计学、分析学和数据科学中的一个关键概念

  • 了解假设检验的工作原理、Z检验和t检验之间的区别以及其他统计概念

介绍

冠状病毒大流行使我们大家都成了一个统计学家。我们不断地核对数字,对大流行将如何发展做出自己的假设,并对何时出现“高峰”提出假设。

不仅是我们在进行假设构建,媒体也在这方面蓬勃发展。

几天前,我读到一篇新闻文章,其中提到这次疫情“可能是季节性的”,在温暖的环境下会有所缓解:

所以我开始想,关于冠状病毒,我们还能假设什么呢?

  • 成人是否更容易受到冠状病毒爆发的影响?
  • 相对湿度如何影响病毒的传播?

有什么证据支持这些说法,我们如何检验这些假设呢?

作为一个统计爱好者,所有这些问题都挖掘了我对假设检验基本原理的旧知识。本文将讨论假设检验的概念以及Z检验与t检验的区别。

然后,我们将使用COVID-19案例研究总结我们的假设检验学习。

目录

  • 假设检验基础

    • 基本概念-零假设、替代假设、类型1错误、类型2错误和显著性水平
    • 进行假设检验的步骤
    • 定向假设
    • 非定向假设检验
  • 什么是Z检验?

    • 单样本Z检验
    • 双样本Z检验
  • 什么是t检验?

    • 单样本t检验
    • 双样本t检验
  • Z检验和t检验的决定

  • 案例研究:Python冠状病毒的假设检验

假设检验基础

让我们举一个例子来理解假设检验的概念。

一个人因刑事犯罪正在接受审判,法官需要对他的案件作出判决。现在,在这种情况下有四种可能的组合:

  • 第一种情况:此人是无辜的,法官认定此人是无辜的

  • 第二种情况:此人无罪,法官认定此人有罪

  • 第三种情况:此人有罪,法官认定此人无罪

  • 第四种情况:此人有罪,法官认定此人有罪

正如你可以清楚地看到的,在判决中有两种类型的错误。

  • 第一种错误:当判决是针对无辜的人时
  • 第二种错误:当判决是有利于有罪的人时

根据无罪推定,该人在被证明有罪之前被视为无罪。这意味着法官必须找到使他“毫无疑问”的证据。

这种“毫无疑问”的现象可以理解为概率(法官判定有罪|人无罪)应该很小。

假设检验的基本概念实际上相当类似于这种情况。

我们认为零假设是正确的,直到我们找到有力的证据反对它。那么。我们接受另一种假设。

我们还确定了显著性水平(⍺),这可以理解为(法官判定有罪|人是无罪的)在前面的例子中的概率。

因此,如果⍺较小,则需要更多的证据来拒绝零假设。别担心,我们稍后会用一个案例来讨论所有这些。

进行假设检验的步骤

进行假设检验有四个步骤:

  • 设定假设

  • 设定决策的重要程度和标准

  • 计算测试统计

  • 做决策

步骤1到步骤3是非常不言而喻的,但是我们可以根据什么在步骤4中做出决定?这个p值表示什么?

我们可以把这个p值理解为衡量辩护律师论点的标准。如果p值小于⍺,则拒绝零假设;如果p值大于⍺,则不拒绝零假设。

临界值,p值

让我们用正态分布的图形表示来理解假设检验的逻辑。

通常,我们将显著性水平设置为10%、5%或1%。

如果我们的测试分数在可接受范围内,我们就不能拒绝零假设。如果我们的测试分数在临界区,我们拒绝零假设,接受替代假设。

临界值是验收区和拒收区之间的截止值。我们将我们的测试分数与临界值进行比较,如果测试分数大于临界值,则意味着我们的测试分数位于拒绝区域,我们拒绝零假设。

另一方面,如果测试分数小于临界值,则意味着测试分数位于接受区,我们无法拒绝零假设。

但是,当我们可以根据测试分数和临界值拒绝/接受假设时,为什么我们需要p值?

p值的好处是我们只需要一个值就可以对假设做出决定。我们不需要计算两个不同的值,比如临界值和测试分数。

使用p值的另一个好处是,我们可以通过直接将其与显著性水平进行比较,在任何期望的显著性水平上进行测试。

这样我们就不需要计算每个显著性水平的考试分数和临界值。我们可以得到p值,并直接与显著性水平进行比较。

定向假设

在定向假设中,如果测试分数太大(右尾的测试分数太小,左尾的测试分数太小),则会拒绝零假设。因此,这种测试的拒绝区域由一个部分组成。

非定向假设

在非定向假设检验中,如果检验分数太小或太大,则拒绝零假设。因此,这种测试的拒绝区域由两部分组成:一部分在左侧,一部分在右侧。

什么是Z检验?

Z检验是检验假设的统计方法,当:

  • 我们知道人口的变化,或者

  • 我们不知道总体方差,但我们的样本量很大n≥30

如果样本量小于30且不知道总体方差,则必须使用t检验。

单样本Z检验

当我们想比较样本均值和总体均值时,我们执行单样本Z检验。

下面是一个了解单样本Z检验的示例

假设我们需要确定女生在考试中的平均分是否高于600分。

  • 我们得到的信息是女生成绩的标准差是100。
  • 因此,我们采用随机抽样的方法收集了20名女生的数据,并记录她们的成绩。
  • 最后,我们还将⍺值(显著性水平)设置为0.05。

在本例中:

  • 女生的平均分是641分

  • 样本的大小是20

  • 平均是600

  • 标准差为100

由于P值小于0.05,我们可以拒绝零假设,并根据我们的结果得出结论,女孩平均得分高于600。

双样本Z检验

当我们想要比较两个样本的平均值时,我们执行两个样本的Z检验。

下面是一个了解双样本Z检验的示例

这里,假设我们想知道女生的平均分是否比男生高出10分。

  • 我们得到的信息是,女生成绩的标准差是100,男生成绩的标准差是90。
  • 然后采用随机抽样的方法收集20名女生和20名男生的数据,记录她们的成绩。
  • 最后,我们还将⍺值(显著性水平)设置为0.05。

在本例中:

  • 女孩的平均分(样本平均值)是641

  • 男孩的平均分(样本平均值)为613.3

  • 女生标准差为100

  • 男生标准差是90

  • 男女样本量均为20

  • 平均分差异是10

因此,我们可以根据P值得出结论,我们不能拒绝零假设。我们没有足够的证据得出这样的结论:女生的平均分比男生高出10分。很简单,对吧?

什么是t检验?

t检验是检验假设的一种统计方法,当:

  • 我们不知道总体方差

  • 我们的样本量很小,n < 30

一个样本的t检验

当我们想要比较样本均值和总体均值时,我们执行一个单样本t检验。与Z检验的不同之处在于,我们这里没有关于总体方差的信息。

在这种情况下,我们使用样本标准差代替总体标准差。

下面是一个了解单样本t检验的示例

假设我们想确定女生平均考试成绩是否超过600分。我们没有与女孩分数的方差(或标准差)相关的信息。为了进行t检验

  • 我们随机收集了10名有分数的女孩的数据
  • 选择我们的⍺值(显著性水平)为0.05进行假设检验。

在本例中:

  • 女生的平均分是606.8分

  • 样本大小是10

  • 平均分是600

  • 样本的标准差为13.14

我们的P值大于0.05,因此我们无法拒绝零假设,也没有足够的证据来支持这样的假设:平均来说,女孩在考试中的得分超过600分。

双样本t检验

当我们想要比较两个样本的平均值时,我们执行双样本t检验。

下面是一个理解双样本t检验的例子

这里,假设我们想确定,在考试中,男生的平均分数是否比女生高出15分。我们没有与女孩或男孩分数的方差(或标准差)相关的信息。为了进行t检验

  • 我们随机收集了10名男女学生的成绩数据
  • 我们选择⍺值(显著性水平)为0.05作为假设检验的标准

在本例中:

  • 男生的平均分是630.1

  • 女生的平均分是606.8分

  • 平均相差15分

  • 男生成绩的标准差是13.42

  • 女生成绩的标准差为13.14

因此,P值小于0.05,因此我们可以拒绝零假设,并得出结论:在考试中,男孩平均比女孩多15分。

Z检验和T检验的决定

那么我们什么时候应该做Z检验,什么时候应该做t检验呢?如果我们想掌握统计学,这是我们需要回答的一个关键问题。

如果样本量足够大,那么Z检验和t检验将得出相同的结果。对于大样本,样本方差是对总体方差的较好估计,因此即使总体方差未知,我们也可以使用样本方差的Z检验。

同样,对于大样本,我们有很高的自由度。由于t分布接近正态分布,z分和t分之间的差异可以忽略不计。

案例研究:用Python对冠状病毒进行假设检验

现在让我们为冠状病毒数据集实现两个样本Z测试。让我们把理论知识付诸实践,看看能不能做好。你可以在这里下载数据集。

https://drive.google.com/file/d/1SJHiTq9QH3GX4CHKtODY3pcmmtxx0bB9/view?usp=sharing

这个数据集取自John Hopkin的存储库,你可以在这里找到它的链接。

https://github.com/CSSEGISandData/COVID-19/tree/master/csse_covid_19_data/csse_covid_19_daily_reports

此数据集具有以下特征:

  • Province/State
  • Country/Region
  • Last Update
  • Confirmed
  • Deaths
  • Recovered
  • Lattitude
  • Longitude

我们还使用Python的Weather API-Pyweatherbit添加了纬度和经度的温度和湿度特性。

关于COVID-19的一个普遍看法是,温暖的气候对日冕爆发更有抵抗力,我们需要通过假设检验来验证这一点。那么,我们的零假设和替代假设是什么呢?

  • 零假设:温度不影响COV-19的爆发

  • 替代假设:温度确实影响COV-19的爆发

注:在我们的数据集中,温度低于24表示寒冷气候,高于24表示炎热气候。

import pandas as pd
import numpy as np
corona = pd.read_csv('Corona_Updated.csv')
corona['Temp_Cat'] = corona['Temprature'].apply(lambda x : 0 if x < 24 else 1)
corona_t = corona[['Confirmed', 'Temp_Cat']]
def TwoSampZ(X1, X2, sigma1, sigma2, N1, N2):
    from numpy import sqrt, abs, round
    from scipy.stats import norm
    ovr_sigma = sqrt(sigma1**2/N1 + sigma2**2/N2)
    z = (X1 - X2)/ovr_sigma
    pval = 2*(1 - norm.cdf(abs(z)))
    return z, pval
d1 = corona_t[(corona_t['Temp_Cat']==1)]['Confirmed']
d2 = corona_t[(corona_t['Temp_Cat']==0)]['Confirmed']

m1, m2 = d1.mean(), d2.mean()
sd1, sd2 = d1.std(), d2.std()
n1, n2 = d1.shape[0], d2.shape[0]

z, p = TwoSampZ(m1, m2, sd1, sd2, n1, n2)

z_score = np.round(z,8)
p_val = np.round(p,6)

if (p_val<0.05):
    Hypothesis_Status = 'Reject Null Hypothesis : Significant'
else:
    Hypothesis_Status = 'Do not reject Null Hypothesis : Not Significant'

print (p_val)
print (Hypothesis_Status)
0.180286
Do not reject Null Hypothesis : Not Significant

因此。我们没有证据否定我们的零假设,即温度不影响COV-19的爆发。

虽然我们无法找到温度对COV-19的影响,但这个问题只是作为我们在本文中所学的概念性理解。COVID-19数据集的Z检验有一定的局限性:

  • 样本数据可能不能很好地代表人口数据

  • 样本方差可能不是总体方差的好估计量

  • 一个州应对这种流行病的能力的变化

  • 社会经济原因

  • 某些地方的早期突破

  • 一些国家可能出于地缘政治原因而隐瞒这些数据

因此,我们需要更加谨慎,进行更多的研究,以确定这种流行病的模式。

结尾

本文采用逐步回归的方法,对假设检验、1型误差、2型误差、显著性水平、临界值、p值、非定向假设、定向假设、Z检验和t检验的基本原理进行了研究,并对一个冠状病毒病例进行了两样本Z检验。

原文链接:https://www.analyticsvidhya.com/blog/2020/06/statistics-analytics-hypothesis-testing-z-test-t-test/

欢迎关注磐创AI博客站:
http://panchuang.net/

sklearn机器学习中文官方文档:
http://sklearn123.com/

欢迎关注磐创博客资源汇总站:
http://docs.panchuang.net/

o
粉丝 0
博文 60
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
假设检验、Z检验与T检验

作者|SUBHASH MEENA 编译|VK 来源|Analytics Vidhya 概述 假设检验是统计学、分析学和数据科学中的一个关键概念 了解假设检验的工作原理、Z检验和t检验之间的区别以及其他统计概念 介绍 冠状...

osc_8o71811p
07/01
26
0
假设检验、Z检验与T检验

作者|SUBHASH MEENA编译|VK 来源 Analytics Vidhya 概述 假设检验是统计学、分析学和数据科学中的一个关键概念 了解假设检验的工作原理、Z检验和t检验之间的区别以及其他统计概念 介绍 冠状病...

人工智能遇见磐创
06/30
6
0
统计4:显著性检验

在统计学中,显著性检验是“假设检验”中最常用的一种,显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。 一,假设检验 显著性检验是假设检验的一种,那...

osc_ertc0ko2
2019/01/22
1
0
【统计学第八章】假设检验(全)

Evernote Export 参数估计与假设检验的区别 参数估计与假设检验是统计推断的两个组成部分,都是利用样本信息对总体进行推断,但是角度不同。 参数估计是样本统计量估计总体参数的方法,总体参...

osc_krq93602
2019/06/25
4
0
假设检验、Z检验与T检验

作者|SUBHASH MEENA 编译|VK 来源|Analytics Vidhya 概述 假设检验是统计学、分析学和数据科学中的一个关键概念 了解假设检验的工作原理、Z检验和t检验之间的区别以及其他统计概念 介绍 冠状...

人工智能遇见磐创
06/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Kafka如何在千万级别时优化JVM GC问题?

大家都知道Kafka是一个高吞吐的消息队列,是大数据场景首选的消息队列,这种场景就意味着发送单位时间消息的量会特别的大,那既然如此巨大的数据量,kafka是如何支撑起如此庞大的数据量的分发...

hummerstudio
06/18
6
0
我打赌!90%程序员都破解不了这个粽子,不信你试!

放假了 各位读者朋友们,马上就是端午小长假啦,开心激动有木有? 新的故事文章还在创作中,写了初稿感觉不太满意又推倒重来。其实写故事还是挺难的,读者可能第一次第二次有新鲜感,写多了就...

轩辕之风
06/24
20
0
如何删库跑路?教你使用Binlog日志恢复误删的MySQL数据

前言 “删库跑路”是程序员经常谈起的话题,今天,我就要教大家如何删!库!跑!路! 开个玩笑,今天文章的主题是如何使用Mysql内置的Binlog日志对误删的数据进行恢复,读完本文,你能够了解...

后端技术漫谈
01/14
22
0
PHP设计模式之代理模式

PHP设计模式之代理模式 代理人这个职业在中国有另外一个称呼,房产经济人、保险经济人,其实这个职业在国外都是叫做房产代理或者保险代理。顾名思义,就是由他们来帮我们处理这些对我们大部分...

硬核项目经理
2019/09/23
7
0
Redis的复制模式

Redis的复制功能分为同步(sync)和命令传播(command propagate)两个操作。 同步 同步操作用于将从服务器的数据库状态更新至主服务器当前所处的数据库状态。 1. 旧版本的执行步骤 从服务器...

osc_s9cni3go
30分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部