AI安全对抗赛:给你的人工智能装上杀毒软件

原创
2019/11/11 20:18
阅读数 62

2016年,AlphaGo战胜李世石,人工智能开始为大众所知。而在计算机视觉领域有个著名的数据集ImageNet,是一个用于测试计算机视觉系统识别能力的“题库”,这些题目使用人去做识别,错误率为5.1%左右。2014年GoogLeNet模型出现机器达到了媲美人类的水平,这时人类才知道,机器通过算法,也可以变得聪明,人工智能某些方面可以战胜人的智能。

640?wx_fmt=png

图来源于ILSVRC

可是人工智能真的智能吗?有的时候人工智能会变成『人工智障』。比如下面这个例子就很经典:

640?wx_fmt=png

图来源于《Explaining and Harnessing Adversarial Examples》by Ian. Goodfellow 

 

一个熊猫的图,累加了一个看起来是随机噪声的图,生成了一张新的图。我们肉眼看起来是一模一样的,相信请来『一起来找茬』全国冠军都看不出区别。可是对于AI模型来讲,这图就不一样了。本来是熊猫,加了噪声就变成了『长臂猿』,而且还『信誓旦旦』(99.3%的置信度) 的说是长臂猿。

大哥!我们呆萌的胖达怎么变成了长臂猿。

 

640?wx_fmt=png

拯救人工智能,刻不容缓

上面提到的这个情况就很尴尬了,毕竟AI已经应用到了我们生活的方方面面,例如刷脸支付。但AI本身却还存在各种漏洞,万一犯罪分子掌握了一个漏洞,比如说能脸上点几个点,就可以把犯罪分子的脸伪装成成某个别人的脸,那我们的身份岂不是可以随时被冒用?

又例如现在最火热的自动驾驶领域,如果存在别有用心的人,将马路上的交通指示牌替换。明明是右转的标志,自动驾驶系统缺识别为直行,极其容易酿成交通事故。关键是这个过程中人类的肉眼看不出替换后的差别,并不知道某些交通标志被恶意替换!

640?wx_fmt=jpeg

最近引起惶恐的丰巢智能快递柜刷脸功能被小学生破解,一群小学生只用一张打印照片就能代替真人刷脸,骗过“人工智能”快递柜,取出父母的包裹。比利时鲁汶大学的两位少年仅仅通过在肚子上贴一张图片就轻松躲过了目标检测界翘楚YOLOv2的火眼金睛,成为了一个“隐形人”。更进一步思考,我们生活中有如此之多的方面需要用到这种生物识别技术,其一旦可以被轻而易举地攻击便贻害无穷。除了图像领域,在语音系统上,全球知名媒体TNW(The Next Web)在早些时候也进行过报道,黑客能够通过特定的方式欺骗语音转文本系统,比如在你最喜爱的歌曲中偷偷加入一些语音指令,让智能语音助手转移你的账户余额。此外,对抗攻击还可以欺骗GPS误导船只、误导自动驾驶车辆、修改AI驱动的导弹目标等等,对抗攻击对AI系统在关键领域的应用已经构成了真正的威胁。

 

我们的算法,需要被拯救!拯救算法就是拯救我们的未来!

640?wx_fmt=png

守护算法,守护未来——AI安全对抗赛

但是当我们在享受科技带来的便捷与高效的同时,是否考虑过技术漏洞带来的严重后果?近年来AI的突破性进展基本都是基于深度神经网络实现,虽然它们在经过训练之后会达到非常精确的效果,但是很容易受到“对抗样本”的攻击。所谓“对抗样本”,就是指攻击者对输入样本故意添加一些细微干扰而导致模型以高置信度给出一个错误的结果。举个例子,如下图就是一些天然的带有干扰性的图像被AI系统识别出了错误结果。试想如果有人恶意制造这样的对抗样本去挑战我们身边的AI系统,结果会有多可怕呢?

640?wx_fmt=png 在AI眼中,分别是“沉船”、“瓢虫”、“开卡丁车的人”、“黑熊”、“台球桌”

如何使AI系统具备高效的抵抗攻击能力成了迫在眉睫的难题。怎么样,极客的你是不是已经按捺不住地想要去大展拳脚攻克难题了呢?近日,百度针对该难题发起飞桨巅峰赛:AI安全对抗赛,以图像分类为切入点聚集AI从业者们探索对抗攻击时的安全性问题。快来看看这到底是什么宝藏比赛吧!

 

AI安全对抗赛简介

目前人工智能和机器学习技术被广泛应用在人机交互、推荐系统、安全防护等各个领域,其受攻击的可能性以及是否具备强抗打击能力备受业界关注,因此图像识别的准确性对人工智能产业至关重要。这一环节也是最容易被攻击者利用,通过对数据源的细微修改,在用户感知不到的情况下,使机器做出了错误的操作。这种方法会导致AI系统被入侵、错误命令被执行,执行后的连锁反应会造成的严重后果。

11月,飞桨巅峰赛:AI安全对抗赛已经开赛。本次比赛针对图像分类任务,选手必须使用飞桨作为攻击方,对图片进行轻微扰动生成对抗样本,使已有深度学习模型识别错误。决赛的模型池中包含百度特色的AutoDL生成的模型,和人工防御加固模型,兼备趣味性与挑战性!

在AI模型安全领域,百度安全从安全验证、模型加固、对抗样本检测到模型鲁棒性形式化验证的整体解决方案AdvBox,作为人工智能应用安全实践案例入选 《(全国信安标委人工智能安全标准化白皮书(2019版)》

 

我们在比赛社区中准备了丰富的学习资料,即使不懂对抗样本的同学也可以快速入门。排名靠前的选手除了获得现金奖励、百度飞桨颁发的奖杯,在校同学还可获得百度校招绿色通道!

以下为大赛专委会给大家的寄语: 

640?wx_fmt=jpeg

如果还想了解本次大赛的详情及赛事最新动态,直接点击“阅读原文”查看,拿起手机报名吧。

 

安全AI才是我们的AI,AI的未来

我们一起守护。

版权声明:本文未注明来源表情包图片均来自于网络

本文分享 CSDN - 飞桨PaddlePaddle。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部