首个人工智能安全大赛落幕 多方探讨安全建设新路径

试想一下：当有人将一张“神奇的贴纸”放置在面部，就能使人脸识别门禁系统误认为是你，从而轻而易举打开大门；同样是这张“神奇的贴纸”，把它放置在眼镜上，就可以1秒解锁你的手机人脸识别，探取你的隐私如入“无人之境”。

这样的景象，并不是科幻电影中的想象，而是《中国经营报》记者从9月16日举行的AISC首届人工智能安全大赛现场所看到的真实攻防场景。

人工智能在快速发展的同时，也带来了一些新的风险和隐患。人工智能安全是人工智能生态体系中的重要组成部分，关系到社会经济生活的方方面面，是我国数字经济高质量发展的重要支撑与基础保障。基于此，由国家工业信息安全发展研究中心、清华大学人工智能研究院和AI技术企业瑞莱智慧等联合举办了人工智能安全大赛，这是国内首个全国性的人工智能安全赛事，其目的在于推动人工智能技术创新、实战演练、场景挖掘和人才培养等。

瑞莱智慧CEO田天明确指出，人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大，风险发生的可能性也随着其应用频次的增长而持续提高。统筹做好人工智能发展与安全已成为当务之急。

AI安全并非未来挑战，而是眼前威胁

“人工智能当前的安全风险，主要可以从‘人’与‘系统’这两个视角来剖析。”田天如是表示。从人的视角来评估AI的安全问题，首先就是技术的两面性问题——存在AI技术滥用甚至“武器化”的问题。具体到人工智能的应用中来看，最为典型的代表就是“深度伪造技术”，其负向应用风险持续加剧且已产生实质危害。

田天进一步解释说，现场使用“神奇的贴纸”破解人脸识别所揭示的正是“系统”的风险，它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”，具有不可解释性，这意味着系统存在结构性的漏洞，可能遇到不可预知的风险。“神奇的贴纸”实际就是“对抗样本攻击”，即通过在输入数据中添加扰动，使得系统作出错误判断。

尤其值得注意的是，这一漏洞在当前大火的自动驾驶感知系统中同样存在。瑞莱智慧相关人员在现场还演示了用对抗样本攻击自动驾驶汽车的情况。记者观察到，在正常情况下，当摄像头识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但是如果在目标物体上添加干扰图案后，车辆的感知系统就会出错，径直撞上去。

多方探索AI安全建设的新路径

统筹发展和安全，是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展很重要的命题，现场多位专家就此话题展开分享，探索AI安全建设的新思路与新路径。

人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。模型有错误就需要进行及时的修复，中国科学院信息安全国家重点实验室副主任陈恺提出了“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。陈恺指出，不同于传统的模型修复工作需要重新训练模型，或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量或无须数据样本，就能够大幅提升模型修复效果。

工商银行金融研究院安全攻防实验室主管专家苏建明则表示，人工智能安全治理需要广泛协作和开放创新，需加强政府、学术机构、企业等产业各参与方的互动合作，建立积极的生态规则。政策层面，加快人工智能的立法进程，加强对人工智能服务水平、技术支撑能力等专项监督考核力度。学术层面，加大对人工智能安全研究的激励投入，通过产学研合作模式加快科研成果的转化与落地。企业层面，逐步推动人工智能技术由场景拓展向安全可信发展转变，通过参与标准制定，推出产品服务，持续探索人工智能安全实践及解决方案。

通过比赛加速培育AI安全新型人才

中国科学院院士、清华大学人工智能研究院名誉院长张钹指出，构建下一代人工智能，实现安全、可信、可靠、创新发展，需要融合知识、数据、算法、算力四个要素，对技术及功能持续地进行推演和实验，而举办人工智能安全大赛显然是一个有效的途径和方法。

记者获悉，本次人工智能安全大赛自7月启动以来，共吸引来自全国70多所高校、科研院所、企业等超过400支团队参与，选手共计600余名。经过3个月的角逐，由上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道第一名，北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

田天认为，构建人工智能的安全生态，一方面需要技术的持续演进，一方面也需要专项技术人才的建设与培养。由于人工智能安全研究目前仍属于新兴领域，专项人才较少，缺乏系统性的研究队伍，本次大赛通过实战演练的方式，全方位验证和提升选手实战能力，为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。