技术原理

AI研习丨周鸿祎:人工智能与安全需要协调发展

转自 CAAI会员中心

周鸿祎

人工智能与安全需要协调发展

近年来,在人工智能快速发展的同时,面临的安全问题也越来越突出。现实世界中,我们已经看到针对物联网、智能家居、无人驾驶汽车等AI系统的攻击不断出现,人工智能用于网络攻击、网络犯罪的事件也时有发生。习总书记强调,要确保人工智能安全、可靠、可控。人工智能和安全是一体之两翼、驱动之双轮,需要有机结合、协调发展。没有安全,人工智能就难以持续健康的发展;反过来,安全也需要人工智能赋能,才能更好地解决未来智能社会的复杂安全问题。

人工智能带来的安全挑战

人工智能的安全挑战可以归纳为三个方面,一是人工智能技术自身不完善引起的安全问题;二是人工智能被不当使用带来的安全问题;三是人工智能终极进化的风险。

1.人工智能自身安全隐患

人工智能的三大核心是数据、算法和算力,可共同作用于不同层面的应用场景,然而由于人工智能自身存在的网络安全风险,可导致AI系统工作紊乱,甚至被黑客控制。

(1)数据采集和利用过程不安全

人工智能广泛依赖音视频采集、红外感应和激光雷达等各类传感器,但这些传感器自身并不安全,被干扰后,造成人工智能识别和决策失误。比如,攻击者用10元钱买个小孩用的激光笔,对着智能汽车的激光雷达乱照,就可能突然导致停车被追尾;同时,对智能汽车还可以进行GPS欺骗。360研究人员曾利用千元民用级别的设备,实现了对无人驾驶车、无人机等GPS设备的欺骗,使它们产生错误判断。

另外,很多人工智能都要靠海量数据训练。如果数据被污染,就可能“垃圾进,垃圾出”。攻击者通过构建畸形或者污染的训练数据,可以导致人工智能学习出错。比如,微软的聊天机器人Tay 就是由于收到了大量“污染”数据,在上线16个小时后就“学坏”了,不停地吐脏话。

(2)人工智能算法不完备

现在很多AI系统都采用深度学习模型,其内部复杂的计算逻辑和决策过程并不透明,我们只是给了它们很多数据,然后由AI给出结果。对于这种开放网络,内部算法有可能被欺骗。

最近研究人员发现,基于人工智能的人脸识别技术就存在先天缺陷。比如只要把一种奇怪的条纹打印下来,别在衣服上,就能“屏蔽”人脸 识别系统,出入自由。以小见大,一些无人驾驶汽车,可能也会被马路上“奇怪”的符号误导,导致严重交通事故。

(3)算力背后的软硬件有漏洞

人工智能算力离不开背后大量软硬件的支撑。但是,软件只要是人写的一定会有错,有错就有漏洞。据全球公认的数据,在1000行软件代码中就一定有4~6个漏洞;是漏洞就可以被黑客利用,引发严重后果。

比如,现在AI系统大都是基于Tensorflow、Caffe等开源软件框架实现的,360已经发现这些开源软件框架存在60多个漏洞,可以导致数据泄露和远程劫持。2020年2月,国内一家AI企业就发生了大规模数据泄露事件,超过680万条数据疑似泄露。前几年,美国IOActive公司在初步测试市场流行的几款机器人中,发现近50种漏洞 可被利用,如通过漏洞远程控制一款UR5协作机器人,让它剧烈的胡乱摇摆,产生的力量足以打断人类颅骨。

2. 人工智能滥用已经凸显

除了人工智能自身不完备可能带来的安全风 险之外,它也可能被滥用做坏事。

(1)最大风险是增加了很多无人值守系统的危险

现在越来越多的无人机、巡航导弹、智能地雷和智能鱼雷等自主武器系统走向战场,人工智能已经使传统战争形态发生了极大改变。问题是一旦这些武器从过去扳机由人控制,变成了扳机由人工智能控制,将引起很大问题。

这些自主武器可能被黑客“劫持”,自己发现目标和自动射击,造成可怕后果。比如2019年8月,委内瑞拉总统马杜罗在首都出席一场军队纪念活动时,遭到装满炸药的无人机袭击,造成7名士兵受伤,说明将人工智能用作杀人武器已成为现实。

再比如,2020年3月,埃塞俄比亚航空公司发生波音737MAX坠机事件,根本原因就是在人与机器(机动特性增强系统MCAS)谁对操纵负有决定权的“搏斗”中,人类输给了机器。未来无人车、无人工厂和无人码头等众多无人值守系统一旦人工智能出错,最后的决定权应该留给机器还是人,值得深思。

(2)人工智能提升了黑客对抗和网络武器攻击的能力

黑客可以利用机器学习辅助创建逃避安全检测的恶意软件。比如,利用人工智能攻击僵尸网络识别器,通过自动生成逃避检测的域名,防止被机器学习算法检测出来。人工智能还使得网络武器的制作、分发和执行等流程自动化,大大提升攻击效率。更为棘手的是,这些自动化网络武器容易在地下交易,一旦被恐怖组织获取,将给安全带来重大威胁。

(3)人工智能滥用可能会危害国家和社会安全

人工智能可以精确地进行个人画像,再结合社交网络强大的煽动能力,甚至能影响政治格局。2019年Facebook公司8700万用户数据泄露,影响美国总统选举的事件,已经显示出了一些端倪。

人工智能也使得网络欺骗更加难以识别。最近,美国已经有人利用人工智能将色情视频里的女主角换成女明星,这一技术正引发恐慌,遭到美国政府查封。人工智能降低了每个人的做假成本,未来可能会出现许多假新闻、假视频,颠覆了我们过去“百闻不如一见”的固有观念,对人类生活带来严重冲击。

(4)人工智能可能给经济带来负面影响

今天很多行业纷纷在做无人商店、无人超市、无人餐厅,利用机器人为用户提供服务。未来人工智能可能不再局限于替代人类的手足和体力,甚至可以部分替代人类的大脑,使得许多从业者面临下岗威胁。

《未来简史》作者赫拉利预言,二三十年内超过50%工作会被人工智能取代。可以想象,如果相关岗位人员不能通过新技能的学习实现岗位转换,将会大量失业,造成严重的经济问题。

(5)人工智能会冲击伦理道德和社会秩序

人工智能可能让人类产生严重情感依赖,习惯于智能陪伴机器人的体贴和顺从,甚至放弃正常的异性交往,放弃组建家庭。

此外,人工智能在解放生产力,提高人类物质生活的同时,还可能会冲击现有社会秩序。美国生态学动物行为学家卡尔霍恩曾做了一个鼠辈乌托邦实验,结果发现在衣食无忧的理想乐园里,整个老鼠群体走向灭亡。这提示我们,人工智能或许可以帮助人类衣食无忧,但却可能导致人类社会秩序崩塌。

3. 人工智能进化成超智能的风险

现在人工智能的发展十分迅速,尽管现在的AI只是一种用大量数据训练出来的概率判断系统,并非基于规则,还只是弱智能。但未来有一天,它会不会自我学习和自我进化,演化成具有自我意识和情感的超智能?

2017年8月,Facebook公司的两个机器人突然开始用自己的语言交流,而人类并不知道它们在讲什么,因为怀疑是机器自我演化的结果,Facebook决定关停整个人工智能项目。

2019年1月,谷歌最新人工智能程序 AlphaStar在与“星际争霸2”人类职业选手的比赛中,以两个5比0轻取两位人类选手,更增添了人们对未来机器智能进化的忧虑。如果进化出的超智能决定毁灭人类,会不会成为人类的终极风险?

关于人工智能未来的发展充满了无数争议和不确定性。在我们看来,很多因素决定了人工智能难以取代人类。

一是能量消耗问题。比如AlphaGo战胜了李世石,但是当时的AlphaGo由1202个CPU和176个GPU构成,一场比赛的处理器耗能就达到3000兆焦耳,再加上存储系统、制冷系统等的耗能,平均消耗的能量是人类的上千倍。今天的人工智能和深度学习别说模拟人,就是真正模拟一个老鼠(耗能不到1瓦),也需要一个城市的电力。如果人工智能真能模拟出人大脑的能力,可能需 要给它建一个核电站。

二是机器不会产生意识。近年来人工智能的突破主要得益于算力和大数据的提升,但真正的智能还和人相去甚远。人类的大脑极其复杂,人类对自己大脑的认识、对自我意识怎么产生等,都还没有弄清楚,更不要说模拟人的大脑做出具有自我意识的机器人。

三是机器是人类的工具。工具只是人类拳头的扩大、手臂的延长。虽然机器越来越智能,但是也只是高级工具,只是能将人类从重复性劳动中解放出来,使人类投入到更有创意的活动中。如果我们提早采取一些措施(如给AI系统设置“紧急终止”按钮、进行功率限制等),就可以防范它对人类的威胁。

综上所述,人工智能并不像人们想象得那样美好。它在提高人们生产生活水平的同时,也可能带来各种安全隐患,甚至成为人类安全的杀手。人工智能和安全防护需要协调发展、双轮驱动。

利用人工智能解决安全问题

上面列举的都是人工智能可能带来的负面问题。但人工智能本身也是一把“双刃剑”,通过人工智能赋能发挥“领头雁”作用,可以更好地解决从国家安全、城市安全等不同层面的安全问题。

1.融合大数据、人工智能和安全专家构建国家网络安全大脑

近几年网络安全已经从单纯的电脑杀毒、信息安全和电脑安全,上升为国家安全,网络安全进入大安全时代。网络战成为网络安全的最大威胁。可以说,大安全时代就是一个网络战的时代。最近的中美贸易战也表明,贸易战之后就是科技战;科技战之后很可能就是网络战。

网络战时代,我们面临着一些重大挑战。一是对手变了,从过去的“小毛贼”变成有国家背景、政治目的的网络攻击组织;二是对象变了,网络战不分军民,首选电网、水利、机场和工厂等关键基础设施;三是范围变了,网络战攻击已扩展到政治、军事、经济和社会等各个领域;四是假设变了,由于漏洞无处不在,导致没有攻不破的网络,不能再幻想御敌于国门之外,而要在假设敌人已攻到内部的前提下做防御;五是方式变了, 过去网络攻击主要是病毒和木马,现在的网络战是超限战,无所不用其极。

面对这些重大挑战,亟需一套基于“大数据 +人工智能+安全专家”的全新战法,目标是敌 人进来能很快发现,在发生网络战时能看见、能指挥、能练兵、能检验、能加固,做到查打防一体。首先,要依靠大数据“看见”网络攻击。打网络战如果不能先“看见”攻击,就是在盲打。“ 看见”攻击必须依靠大数据,这些大数据是多维度、 海量、实时和鲜活的。现在,很多企业推出的态 势感知系统其实就是可视化的动画系统,起不到多大作用,因为没有大数据的支持。

其次,依托人工智能提高网络安全的自动化和智能化水平。反病毒时代,安全数据规模较小,靠人就可以安全分析。但是进入网络战时代,海量大数据的分析单纯依靠人力已经难以为继。近年来,人工智能在算法和算力上的进步,已经可以赋能到网络防御,有效提升网络安全从智能化响应和处置能力。

此外,安全专家和人工智能协作开展网络防御。网络攻防本质是人和人的对抗。在网络战中,安全专家通过群体智慧发挥核心作用。虽然人工 智能是重要的辅助手段,但网络防御最终还是靠安全专家积累的安全经验,通过人机协作解决问题。比如,美国的Palantir公司拥有4000名数据专家,人工智能与安全专家在共同工作。

按照上面的战法,我们希望为国家打造一套覆盖整个网络国土的全新防御系统;我们不再寄希望于御敌于国门之外,而是在网络空间里建立一套类似全网雷达反导系统(称为网络安全大脑),利用它先清楚地看到网络里发生了什么事,然后再谈预警、溯源、止损和反制。

这方面,美国和我们有相同的认识。美国早就在开始建设类似网络安全大脑系统。比如,美国“爱因斯坦计划”“持续诊断与缓解项目”就是国家级的网络安全监测防护系统;谷歌去年新成立子公司Chronicle Security,利用先进的人工智能技术快速发现并阻断网络攻击;微软也宣布将利用人工智能处理全球超过10亿设备获取的大 数据,应对网络威胁。

360过去几年已经构建了一个网络安全大脑的原型,初步解决了习总书记说的“谁进来了不知道、是敌是友不知道、干了什么不知道”的问题。360近年来运用安全大脑发现了来自境外的40个APT攻击,验证了这个思路的可行性。

需要强调的是,网络安全大脑不是一个特殊的程序,也不是一个完整的解决方案,它不是要取代现在的安全解决方案(不是试图取代IDS、防火墙和防病毒等传统安全厂商的软硬件产品),而是对现有网络防御体系的一次大升级,通过它把网络空间的黑天鹅变成灰犀牛,提升网络安全重大风险防范和应急处置的能力。

2. 建设城市安全大脑,保障智慧城市安全

我们用人工智能来解决安全问题,不要只局限在网络安全领域。今天在智慧城市和智慧社区里,物理安全和公共安全已经变得很重要,但安全问题也日益突出。

比如,城市联网设备越来越多,到2020年全球有超过500亿的设备会连到互联网上,每个设备都可能成为攻击的切入点,基本上防不胜防。此外,对交通、消防和社区等传统安全问题的预警处置能力不足。以电梯安全为例,全国至少有700万电梯,虽然有维护人员周期性巡检,但电梯吞人的事件时有发生,现在只能在事后侦查追责,却没有一个很好的技术手段进行预防。

针对这些突出的城市安全问题,人工智能也可以发挥重要作用。通过将人工智能与移动通信、大数据和边缘计算等新技术相结合,整合IoT设备、IT系统和安防系统,建设城市智能安全系统(称为城市安全大脑),解决好城市交通、消防、 危化品管控、电梯安全和社区防盗等安全问题。

通过城市安全大脑,我们第一次有能力对城市的运转做出判断,对危险和安全威胁做出预警,及时通报城市运转的异常情况。比如针对电梯安全问题,如果我们给每部电梯都安装一个传感器,就能实时侦测电梯的压力、速度和噪音,这些大数据有了之后,城市安全大脑就能对电梯的异响及时做出判断和告警,也可以最大限度避免事故的发生。

再比如,近年来我国多个城市发生乘客抢夺公交车方向盘的事件,甚至有车辆坠到长江,严重危害公共安全。如果我们对营运车辆都安装智能摄像头,它可以接收车上的声音和图像,智能识别车上发生的吵架和打架等危及安全的事件,及时制动车辆并通知附近的交通执法部门,那么这样的悲剧就可能避免。

3. 产学研合作,共建安全大生态

未来,上到国家安全,中到城市安全和日常生活安全,再到每个人的人身安全,都与人工智能离不开,建设各级各类安全大脑更需要政府、科研院所、企业和行业等各方力量的紧密合作。我们希望将自己的数据、技术、产品和服务输出,赋能到网络安全及其他垂直行业,与业界共建安全大生态,真正形成良性的产业循环,为智能社会保驾护航。

选自《中国人工智能学会通讯》

2020年 第10卷 第4期 人工智能与安全专题

周鸿祎

360集团创始人、董事长兼 CEO,CAAI人工智能与安全专委会主任;全国政协委员、“九三”学社中央科技专门委 员会副主任。首创的“免费安全” 模式,颠覆了传统互联网安全行业,改变了中国的互联网市场格局,提升了中国互联网安全的整体水平。

AI 研习 往期文章

方滨兴:人工智能安全之我见

洪宇:信息抽取的常识与前沿

专题:不完全信息计算机博弈的模型与应用

专题:藏族久棋计算机博弈研究

专题:随机性博弈估值函数及其搜索策略研究

专题:爱恩斯坦棋中概率启发的并行蒙特卡洛树搜索算法

专题:一种军棋计算机博弈的多棋子协同博弈方法

优秀博士学位论文精华版:面向互联网金融微观对象的数据挖掘方法及应用研究
优秀博士学位论文精华版:零和博弈的事件驱动自适应动态规划方法
优秀博士学位论文精华版:基于深度学习的自然场景文字检测与识别方法研究
优秀博士学位论文精华版:时滞递归神经网络稳定性与同步控制
优秀博士学位论文精华版:大规模图像检索方法研究
专题:基于人机协同决策的印染废水处理智能管控技术研究
专题:活性污泥法污水处理过程自动控制研究综述
专题:城市污水处理过程协同优化控制
专题:城市污水处理过程智能自组织控制方法研究与应用
专题:自适应多输出高斯过程模型于城市污水的应用与实践
汪培庄:因素空间与人工智能
何晓冬:语言与视觉的跨模态智能
黄铁军:视达2020——翻开视觉新篇章
宗成庆:人类语言技术展望

点击左下角“阅读原文”,加入CAAI

你也可能喜欢

发表评论

您的电子邮件地址不会被公开。 必填项已用 * 标注

提示:点击验证后方可评论!

插入图片
深圳人工智能培训班 投稿者
我还没有学会写个人说明!
最近文章
  • * 没有更多文章了
  • 热门搜索

    分类目录