文档章节

深度学习对抗样本的八个误解与事实

可乐瓶的小辣椒
 可乐瓶的小辣椒
发布于 2017/02/15 11:25
字数 1526
阅读 7
收藏 0

对抗样本是通过稍微修改实际样本而构造出的合成样本,以便于一个分类器以高置信度认为它们属于错误的分类。垃圾类的样本(如fooling images)是病态样本,即使它们不属于任意一个类,分类模型也会把它们以高置信度划分到某一个类别中去。

图片熊猫

一个对抗样本,修改一张熊猫的图片,让机器学习模型将它识别成一只长臂猿。

使用32位浮点值作为网络的输入来执行修改,这个改变是如此的小以至于不会改变出版图像的8位表示。更多细节请参考这篇论文。

这些错误抓住了公众的想象力。在兴奋之余,关于对抗样本的一些误解已经广泛传播。在这篇博客中,我列出了其中的一些误解。

1. 神话:对抗样本并不重要,因为它们不会出现在实践中。

事实:的确,对抗样本不太可能自然发生。然而,对抗样本至关重要,因为训练一个模型来抵制它们,可以提高其非对抗样本的准确性。对抗样本也可能在实践中发生,如果它们的确是对抗性的。例如垃圾邮件发送者试图骗过垃圾邮件检测系统。

图片1

训练一个网络来正确分类对抗样本,降低它在训练数据集上的错误率,即使测试数据集的样本没有被扰动。这种技术提升了在MNIST数据集上的最高水平。

2. 神话:深度学习比其他类型的机器学习更容易受到对抗样本的干扰。

事实:到目前为止,我们已经能够为我们测试过的每一个模型生成对抗样本,包括像最邻近这样的最传统的机器学习模型。深度学习是目前为止对对抗训练最有抵抗性的技术。

3. 神话:对抗样本是由极度非线性深度模型导致。

事实:我们最近的实验表明,深度模型的表现是非常线性的。线性模型在外推远离训练数据的区域有着极度的优势。这也解释了对抗性和垃圾分类样本中发生的很多错误。

图片3

我们可以描绘出一个输入空间中的线性路径,通过对一张清晰的汽车图像添加不同的对抗性微扰。这里,我们将比例因子范围从-10到+10来绘制出这条线性路径。我们看到,网络的logits输出在远离数据的地方表现为线性。这将导致网络的预测变得极端,垃圾类输入数据以高置信度归为有意义分类。

4. 神话:对抗样本在小数据中很难找到或发生。

事实:空间中的大多数任意点都被误判。例如,我们测试的一个网络,把大约70%的噪声样本以高置信度归类为马。

5. 神话:我们能做到最好的是识别和拒绝处理对抗样本。

事实:拒绝处理对抗样本比将它错误分类要好,不过这不是一个令人满意的解决方案。如果真是一个对抗样本,如垃圾邮件发送者,对抗样本仍然可以通过产生系统拒绝分类的样本而占优势。我们知道这可能是正确分类的对抗样本,因为人们不会被它们迷惑,这也是我们设计模型的目标。

6. 神话:攻击者必须访问到模型才能产生对抗样本。

事实:对抗样本在整个网络中扩散,用来训练执行相同的任务,即使这些模型有不同的架构,由不同训练数据集训练。这意味着攻击者可以训练自己的模型,产生对抗模型来对抗目标模型,然后将这些对抗样本部署到他们不能访问的模型中。

7. 神话:对抗样本可以很容易地用标准正则化技术解决。

事实:我们已经测试了几种传统的正则化策略,包括均化多重模型,均化图像多采样观测(multiple glimpses),用时延权重或噪声训练模型,通过生成模型的推断进行分类,结果均以失败告终。

8. 神话:没人知道人脑是否也会犯相似的错误。

事实:神经学家和心理学家通常研究幻觉和认知偏差。虽然我们无法进入我们的大脑,但是我们可以确认我们没有像现代机器学习那样被同一种对抗样本所影响。如果我们的大脑和机器学习模型一样犯了同样的错误,那么由于交叉模型的泛化属性,机器学习模型的对抗样本将会使我们产生视觉错乱。

总之,对抗样本是一个顽固的问题,研究如何克服它们可以帮助我们避免潜在的安全问题,并且会让机器学习算法对所要解决的问题有一个更准确的了解。

推荐阅读

本文转载自:

可乐瓶的小辣椒
粉丝 6
博文 318
码字总数 126125
作品 0
私信 提问
【科普】人工智能秒变人工智障:误导神经网络指鹿为马

本文用人话介绍了人工智能与信息安全的交叉前沿研究领域:深度学习攻防对抗。包括用对抗样本修改图片误导神经网络指鹿为马、针对不同深度学习模型的逃逸攻击、白盒攻击与黑盒攻击、NIPS 2017...

子豪兄
2018/10/29
0
0
GAN一点都不鲁棒?清华学霸们赢得NIPS攻防赛3项冠军的绝招在这里!

本文介绍了如何用对抗样本修改图片,误导神经网络指鹿为马;对 NIPS 2017 神经网络对抗攻防赛 3 项冠军清华团队的算法模型进行了解读。 文章部分内容来自 2018 CNCC 中国计算机大会—人工智能...

技术小能手
2018/11/22
0
0
AI 安全在阿里业务中的实践,你了解吗?

我们知道,AI 技术将在很长一段时间占据互联网技术时代的风口。但是,有代码的地方就有缺陷,提到技术很难不讲安全,那么AI会不会碰到安全问题呢? AI安全 试想一下,未来的某个早晨,当你像...

技术小能手
03/11
0
0
CNCC2018中国计算机大会:人工智能与信息安全分论坛

本论坛是2018中国计算机大会(CNCC)的分论坛之一,涉及人工智能与信息安全交叉应用前沿领域,包括恶意文本识别过滤、神经网络攻击、对抗样本生成与模型迁移、白盒与黑盒攻防策略,以及移动设...

子豪兄
2018/10/29
0
0
GeekPwn2018顶级AI黑客招募令:你有信心致盲AI吗?

  谈及机器学习,「对抗样本」这个词,应该已经不再陌生。而对抗性样本攻防赛,或许你还是第一次听说。   为了加快对抗样本的研究,作为全球首个关注人工智能与专业安全的前沿平台,Gee...

机器之心
2018/07/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
10
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部