1、请务必阅读正文之后的免责条款部分 2019 年 03 月 24 日，07 期 安全可控 AI：安全的“A”，可控的“I”摘要：本期产业观察聚焦于 AI 的安全可控，近五年 AI 爆发式地发展，并持续向各行业渗透。随着渗透率提升，AI 的局限和问题逐渐暴露，如对抗样本带来的安全隐患、原理不可解释等。能真正落地，并用于关键应用场景的必须是安全、可控、可理解的 AI，不然很难说服用户买单，尤其是企业级、政府级客户。解决这些问题，我们重点关注 AI DevSecOps、AI 赋能下的信息安全和可解释 AI 细分赛道的发展机遇。AI 在各行业持续渗透，市场预期处于前所未有的高点。本次人工智能 AI 热潮
2、从 2012 年开始发展，并随着谷歌 AlphaGo、AlphaZero 一次又一次战胜人类棋手而引爆。在产业层面，基于深度学习的 AI 确实被用于各个技术领域，如计算机视觉、语音识别、自然语言处理 NLP 等，并在各行业的应用场景中持续渗透，部分应用已开始商用，比如智能语音客服、医疗影像识别等。然而 AI 离真正落地还有差距，存在安全隐患和潜在社会问题。从 2012 年至今，AI 从训练到普及存在较多问题：1）AI 训练平台被发现致命漏洞；2）能通过对抗样本操控 AI 的判断；3）用AI 做好事，事倍功半，用来做坏事，同样危害极大，如后门攻击、电话骚扰、伪造他人信息；4）AI 决策不可解释、
3、算法偏见等问题引发社会争议。存在致命安全隐患、不可控、不可解释的AI 难以实现真正落地，也很难说服客户买单，尤其是企业级和政府级客户。解决问题，打造安全可控 AI，需要科研、产业、政府齐心协力。从当前 AI 到安全可控的 AI 是个漫长的过程，在此过程中，三个领域至关重要、值得关注。1）可解释 AI、神经网络可视化帮助人们打开黑箱；2）AI DevSecOps 框架，覆盖 AI 从 0 到 1 到 100 的全生命周期安全；3）AI赋能安全，更强大的安全工具也能保障 AI 稳定运行，包括基于大数据主动防御。五大安全 AI 细分领域将迎来发展机遇。五个领域在海外均出现过独角兽、市场空间可期，且安
4、全巨头们尚未涉足：1）安全信息与事件管理平台 SIEM，瀚思、青藤云；2）身份认证与管理平台 AM，芯盾、通付盾；3）应用性能管理平台 APM，博睿数据、基调网络；4）应用安全测试AST，几维安全、思客云；5）应用自我防护 RASP，默安科技、蓝海讯通。风险提示：对抗样本的危害存在被高估的可能性；可解释 AI 研究进度不及预期；产业研究中心 作者：鲍雁辛 电话：0755-23976830 邮箱： 资格证书编号：S0880513070005 作者：郑宇舟 电话：021-38676545 邮箱： 资格证书编号：S0880118060037 往期回顾 氢能社会，未来已来日本氢能战略全解析 2019.
5、03.20 京城的风，已吹向经济 2019.03.05 产业观察_解码新能源车全产业链 2019.02.01 国泰君安_产业观察_美国行之 JPM医疗健康周，拥抱创新药 2019.01.20 国泰君安_产业观察_从田间到餐桌，产业巨变开启生活之美 2019.01.14 产业观察：“字节跳动”，大数据+AI重塑移动互联 2018.12.25 产业观察 产业观察 请务必阅读正文之后的免责条款部分 2 of 37 目录目录 1.人工智能，并非所想.4 1.1.处在预期高点.4 1.2.此 AI 非彼 AI.5 1.3.持续渗透行业.6 1.4.特性决定局限.9 2.应用部署，问题重重.10 2.1.
6、训练：平台存漏洞.10 2.2.预测：决策被操控.11 2.3.应用：滥用危害重.13 2.4.普及：社会新问题.16 3.安全可控 AI，才能落地普及.20 3.1.产业：打造安全 AI.20 3.2.产业：AI 赋能安全.22 3.3.科研：可解释可控.29 3.4.政府：法规限增速.31 3.5.文化：树立价值观.34 4.风险提示.35 产业观察 请务必阅读正文之后的免责条款部分 3 of 37 核心逻辑核心逻辑 本次人工智能 AI 热潮从 2012 年开始爆炸式发展，并在各个应用场景中持续渗透，部分应用已开始商用，也因此，市场对 AI 的预期处于前所未有的高点。然而当前基于深度学习的
7、 AI 存在较多的安全隐患和潜在社会问题，比如训练平台漏洞重重、对抗样本操控结果、滥用 AI 高效作恶、AI 决策过程不可解释、算法偏见难以调和等。存在安全隐患、不可控、不可解释的存在安全隐患、不可控、不可解释的 AI 很难被用户接受，也很难说服很难被用户接受，也很难说服用户用户买单，特别是企业级、政府级客户。能真正落地，并用于关键应用买单，特别是企业级、政府级客户。能真正落地，并用于关键应用场景的必须是安全可控的场景的必须是安全可控的 AI。安全 AI：没有安全隐患的，比如能防御对抗样本的；可控 AI：决策过程可解释；从当前的 AI 到安全可控 AI 将会是一个长期持续改善的过程，在此过程中
8、，安全可控 AI 相关产业将迎来发展机遇。按照商用落地时间，依次为AI 赋能安全、AI DevSecOps、可解释 AI，而与 AI 相关的法律法规将伴随着整个过程持续深化。图图 1.安全可控安全可控 AI 投资投资时钟时钟 注：2-3 年内有望商用落地成为客户主流选择；数据来源：国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 4 of 37 1.人工智能，并非所想人工智能，并非所想 1.1.处处在预期高点在预期高点 人工智能（Artificial Intelligence,以下简称 AI）概念自 1956 年的达特茅斯会议上提出以来，已经历了三次潮起、两次潮落。三次潮起都是因为
9、出现准确率更高的技术路径，而两次潮落分别是因为准确率不达预期、造价过高等原因。本次 AI 热潮从 2006 年深度学习泰斗 Hinton 教授在 Nature 上发表一篇神经网络论文开始发展。随后 2012 年，Hinton 的学生在 ImageNet 图像识别大赛上获得冠军，其设计研发的 AlexNet 深度神经网络把准确率提升到 83.6%，比 2011 年的冠军高了 10.4 个百分点，实现了质变，并开启了深度学习 AI 的快速发展阶段，直至今日。图图 2.AI 经历了三次潮起、两次潮落经历了三次潮起、两次潮落 数据来源：艾瑞咨询 目前目前 AI 处于前所未有的预期高点。处于前所未有的预
10、期高点。经过 6 年的发展，基于深度学习的AI 在各技术应用上大展拳脚，准确率不断提升，如图像识别、语音识别等；以 AlphaGo 为首的 AI 模型在多个领域击败人类，再次引爆了整个AI 产业。从应用端看，融合深度学习技术的产品快速迭代，在 B 端和 C端市场的渗透率都在快速提升。产业观察 请务必阅读正文之后的免责条款部分 5 of 37 图图 3.市场对深度学习的期待正处于高点市场对深度学习的期待正处于高点 注：白色：2 年内成熟；浅蓝色：2-5 年内成熟；深蓝色：5-10 年内成熟；黄色三角：10 年以上成熟；数据来源：Gartner 2018 年数据 图图 4.三三个个方面看方面看 A
11、I 处于高位处于高位 注：学术曲线是深度学习相关论文的数量变化情况；投资曲线是所有 AI私募股权投融资数量变化情况；舆论曲线来自百度指数对人工智能搜索热度的变化情况；曲线仅反映频次变化趋势，不反映内容正面或负面；数据来源：中国知网、百度指数、亿欧智库 1.2.此此 AI 非彼非彼 AI 然而当前的然而当前的 AI 并非当年的并非当年的 AI，当前的，当前的 AI 主要基于深度学习。主要基于深度学习。早期提出的 AI 概念，指的是通用型 AI，能完全代替人类的机器人；而当前的AI 是专用型 AI，主要基于机器学习、深度学习、神经网络算法，只能在某件具体的事情上胜过人类，比如谷歌开发的会下围棋的
12、AI，AlphaGo，会打星际争霸 2 游戏的 AI，AlphaStar 等。产业观察 请务必阅读正文之后的免责条款部分 6 of 37 深度学习是通过搭建人工神经网络来归纳总结数据中的规律。深度学习是通过搭建人工神经网络来归纳总结数据中的规律。从外部看，神经网络可以理解为一个函数模型，把已知数据带入到函数公式中，得出结果。从内部看，神经网络由成百上千个神经元和权重组成，两者相互作用得出最终判断。何为学习：何为学习：模型能自动总结数据中的规律、特征，且能随数据更新，而不断提升性能，与学习的过程相似；神经网络：神经网络：模型的网络结构模仿人脑神经元的连接方式；何为深度：何为深度：指的是从输入层到
13、输出层之间的层数。通常层数越多，解决复杂问题的能力越强。人脑有 1011个神经元、1015个权重，而目前最大的人造神经网络有 1010个权重，是人脑的十万分之一。图图 5.神经网络由无数个神经元和权重神经网络由无数个神经元和权重组组成成 数据来源：Stanford University CS231n、国泰君安证券研究 1.3.持续渗透行业持续渗透行业 目前正处于以深度学习为主的 AI 模型在向各行各业的细分场景深入渗透的阶段。其中，数据获取容易的行业，AI 应用成熟度也更高。表表 1.AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况
14、 典型企业典型企业 企 业 服 务 语音客服 电话推销 语音识别很成熟，交互还不成熟，只能实现5 轮对话，但已大面积商用；科大讯飞、思必驰、出门问问 精准营销 千人千面 早已大面积应用，然而在推荐算法的准确度和多样性上仍有提升空间；阿里、第四范式 今日头条 智能运维 AI Ops 异常检测、性能瓶颈分析等场景，技术已成熟，推广仍需时间，Gartner 预计全球渗透率 5%-20%；Splunk Moogsoft AI 简历筛选 用 AI 协助筛选简历，将招聘初审完全自动化，在企业市场推进仍需时日，且存在算法黑箱问题；谷歌 Hire、领英 Kronos、Brilent 网络安全 态势感知 SOC
15、 网络安全态势预测尚不成熟，目前主要是提供数据分析结果和全网的安全风险情况，辅助管理者做安全战略决策。CA Tech 启明星辰、360 机器翻译 多语言翻译技术都已很成熟，应用也较广泛，然而离人类水平还有差距，还无法做到同传；谷歌 科大讯飞 产业观察 请务必阅读正文之后的免责条款部分 7 of 37 表表 1.续上表续上表：AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况 典型企业典型企业 金融 信贷风险评估 已在头部银行信贷场景中使用；京东金融 冰鉴科技 AI 反欺诈 用 AI 分析交易行为，筛选出异常交易，交易数据量大、损失严重
16、，因此存在刚需；在金融、电商、营销行业已有大量落地案例，部分场景准确率 99%，航空、游戏等行业还有待渗透；PayPal 蚂蚁金服 猛犸智能 计算机视觉 用于车险理赔 将 AI 用于事故现场勘察定损，识别骗保行为，部分场景准确率达 95%，然而通用性还存问题；蚂蚁金服 中国平安 智能投研 由于投研涉及行业范围广、影响因素多，目前仅在数据挖掘、知识图谱、舆情分析上有少量 AI 应用。Kensho 通联数据 刷脸认证支付 刷脸支付在手机上已经非常成熟，然而在公共场所，干扰因素较多，仍有提升空间；蚂蚁金服 京东金融 医疗 医学影像识别 在识别肺部结节场景中准确率很高，然而不同医院数据差别大，推广仍需
17、时日；推广到其他病灶、其他影像仍需大量研发；依图科技 推想科技 辅助诊断决策 让 AI 学习大量医学书籍文献后，根据病人数据，推荐最佳诊断方案，然而很多医学问题无解，且诊断缺少统一标准，目前尚早期；IBM Watson 依图医疗 AI 新药研发 用深度学习做化合物筛选，在肿瘤药、心血管药、孤儿药上已有较多成果；谷歌 AlphaFold Atomwise 智慧健康管理 国内身体健康管理公司较少，而精神管理中的情绪调节场景的公司目前还没有；妙健康、Airdoc、碳云智能 零 售 无人超市 用计算机视觉、RFID 等技术实现无人超市，然而离技术成熟落地还有较大差距；Amazon Go 天虹 Well
18、 Go 苏宁体育 Biu 以图搜物 协助用户更好地找到想要的商品，基于图像识别的技术已经相对成熟，在向更多纵深场景推广；码隆科技 阿里 物 流 智慧仓储管理 技术已相当成熟，在电商以外的仓库还需要定制化改造，全面渗透还需时日；Kiva 快仓、京东 自动化分拣 机器手根据物料/包裹种类，分拣到其他流水线，硬质物体已较成熟，然而对于软质物体仍有技术阻碍；COBOT 顺丰、梅卡曼德 AGV 无人驾驶 用计算机视觉改装叉车，实现在工厂内无人驾驶；Balyo 未来机器人 制造业 工程机械无人驾驶 用计算机视觉，实现场景识别、作业路径规划、运输、卸土等操作，适用于挖掘机、矿用自卸车 百度、小松 Cater
19、pillar AI 协助工艺优化 工业制造中，很多工艺基于老师傅的经验，现在可以用 AI 将老师傅的经验转化为模型，帮助优化工艺，然而不同工艺差异较大，缓慢推进中；Fero Lab 富士康 计算机视觉 用于产品质检 质检是自动化生产中非常依赖人的环节，部分行业能用图像识别判断产品质量，在 3C、汽车、包装、五金加工行业已能替代部分质检环节；阿丘科技 精锐视觉 预测性运维 工业制造中，设备耗材更换会耽误生产，造成损失，用 AI 可以预测每块耗材的损耗程度，提前预警安排更换，不同设备、耗材、工厂数据不同，缓慢推进中；富士康 创新奇智 AI 优化耗能 AI 分析工厂能耗数据，优化生产流程，减少物料、
20、能源上的损耗，技术相对成熟，然而不同工厂数据不同，只能逐个击破；谷歌 DeepMind 西门子、GE 产业观察 请务必阅读正文之后的免责条款部分 8 of 37 表表 1.续上表续上表：AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况 典型企业典型企业 农业 AI 分析卫星图指导种田 将 AI 用于分析卫星图，判断田间杂草、养分、虫害等情况，指导农场更高效地种植，在美国快速推广，国内几乎没有；Descartes Labs IntelinAir 智慧养殖 猪/牛不喜欢看到人，用 AI 识别猪脸，监控每头猪的行为，判断健康状况，目前有个
21、别试点案例，商用化还不成熟；Cainthus 京东、腾讯 果实采摘 将 AI 用于摘苹果，每秒 1 个，不伤害果实，国外有较多企业推出商用化产品，国内还没有案例；Aboundant Robotics 安 防 公安监控 已大面积使用，尤其是在数字中国、人大期间；商汤、依图 旷世、云从 教育 定制学习方案 技术较为成熟，目前已得到较为广泛的应用，并在各个学习阶段都有应用且已覆盖多个学科；Knewton 高木学习 自动口语测评 语音识别技术已很成熟，市场推广进程中；新东方 VIPKID 能源 智慧电网 尚处于发展的初期阶段，目前应用主要体现在智能电表和用电信息采集系统产品方面;西门子 Grid Ed
22、ge 辅助油气勘探 基于地面震动等数据，将 AI 用于石油勘探，个别试点项目触下，还未投入规模化使用；道达尔、Chevron Beyond Energy 汽 车 重卡辅助驾驶 重卡运输以高速路段为主，需要熬夜驾驶，对辅助驾驶有刚需，已经能实现 L4，几家车厂都已推出样车，市场推广中；特斯拉、图森未来、中国重汽 公交辅助驾驶 公交线路较固定，部分城市设有公交专用车道，使其无人驾驶更容易实现，部分地区开始试驾；沃尔沃 中国重汽 通用辅助驾驶 极少车企达到 L4 辅助驾驶，大部分车企只能实现 L2-L3，依然要求驾驶员目视前方，手握方向盘；谷歌 Waymo 家 电 智能音箱 大面积应用，然而用户购买
23、音箱大于智能，交互体验受制于多轮语音对话的技术瓶颈；亚马逊、谷歌 小米、阿里 陪伴机器人 通过产品化的设计优化用户体验，弥补语音交互的短板，产品早已大面积推广，多轮对话技术仍有提升空间；物灵、科大讯飞 注：实心圆表示 AI 应用完全成熟落地；空心圆表示 AI 应用完全没落地；数据来源：Gartner、国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 9 of 37 1.4.特性决定局限特性决定局限 搭建一套基于深度学习的 AI 模型分为四步：数据预处理、训练+验证模型、测试模型，并持续优化。在模型训练阶段，验证团队基于真实场景数据，帮助开发团队不断打磨调试模型，直至性能最佳。数据集
24、、模型数据集、模型的选取，以及调试过程都堪称艺术，没有标准化的方法，也是不同的选取，以及调试过程都堪称艺术，没有标准化的方法，也是不同 AI 应应用准确性差异的主要原因。用准确性差异的主要原因。图图 6.搭建深度学习模型分为搭建深度学习模型分为四四步步 数据来源：机器之心、国泰君安证券研究 正因为正因为 AI 无标准方法的训练过程，无标准方法的训练过程，界定界定了了 AI 的特性及局限。的特性及局限。基于深度学习的 AI 通过神经网络算法提取训练数据的特征，并基于该特征去预测其他数据，解决实际问题。表表 2.深度学习的特性及局限深度学习的特性及局限 定义定义拆解拆解 特性与特性与局限局限 通
25、过 神 经 网 络 算法 由几百层神经网络构成，层数越多，越能解决复杂问题；层数、神经元太多，理解原理非常困难；提取训练数据的特征，利用算法，较自动地归纳数据的隐藏特征；严重依赖训练数据集的质量；并基于该特征去预测其他数据，特征源于训练数据，用来判断测试数据集的情况；用过去的数据决定未来，或是用一批人的数据，决定另一批人的表现；用 A 国家的数据判断 B 国家的情况；当数据跨度过大时，AI 很难推广到预测其他数据的情况；因此谁拥有的数据多、广，谁就掌握数据霸权，强者垄断。解决实际问题。只对现象进行统计归纳，不对其原因进行推理，使人类很难理解 AI 的脑回路；很多人类也不知道答案的问题，等着让
26、AI来解答，如何信任 AI 的回答就正确？数据来源：国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 10 of 37 2.应用部署，问题重重应用部署，问题重重 深度学习 AI 快速发展，在各行各业的渗透率都持续提升。然而技术都有两面性，AI 在改善社会的同时，也暴露出新的问题。我们从 AI 应用开发到普及的四个阶段来讨论已经出现、即将出现的问题及威胁。2.1.训练：平台存漏洞训练：平台存漏洞 AI 模型的训练阶段主要发生在机器学习框架平台上，如谷歌 TensorFlow、Facebook Pytorch、百度 Paddle Paddle 等。学习平台相当于 AI 的组装厂，汇集现
27、成的训练数据集、模型库、开源库等。机器学习平台上的漏洞，就像是食品加工厂混入了病菌，随时都可能爆发，更致命危害面积更大。表表 3.三大主流机器学习框架三大主流机器学习框架 框架框架 开始使用开始使用 开发方开发方 代码量代码量 开源开源库库 TensorFlow 初始版本 2015年11月 稳定版本 2018 年 10月 Google大脑 887k 97 Caffe 稳定版本 2017 年 4 月 贾扬清 127k 137 Torch 初期版本 2002 年 10月 稳定版本 2017 年 2 月 590k 48 注：2018 年 3 月，Facebook 已将 Caffe 和 Torch 合
28、并为 PyTorch；数据来源：Security Risks in Deep Leaning Implementations AI 在训练阶段涉及到学习平台、训练数据集、开源模型库等都存在安全威胁，分为四类：平台自身漏洞、平台上的开源库、数据集存在漏洞，以及 AI 即服务（AI as a Service，以下简称 AIaaS）平台 API 被利用。表表 4.四类训练阶段面临的安全威胁四类训练阶段面临的安全威胁 分类分类 漏洞描述漏洞描述 时间时间 漏洞事件漏洞事件 1）平台本身存在漏洞 AI 训练平台相当于组装厂，提供了训练框架、现成的数据集、第三方开源模型库等资源；平台开发还不成熟，依然存在
29、漏洞；2017 年 12 月 腾讯安全预研团队发现谷歌 TensorFlow 的重大漏洞。利用该漏洞，攻击者可以生成恶意模型文件；被使用时，攻击者就可以窃取、篡改、破坏 AI 应用，甚至可以控制整个 AI。越是关键性的 AI，危害越严重，目前该漏洞已被修复；2）平台上的开源库存在漏洞 很多开源库年久失修，导致攻击者有迹可循；一旦被攻击，都会带来严重威胁；2017 年 12 月 4日 360 安全实验室、佐治亚大学和弗吉尼亚大学联合发表论文，发现三大机器学习框架上的 15个漏洞。漏洞源于框架上提供的开源模型库，如 NumPy、OpenCV 等；3）平台上的数据集被混入毒药 训练数据中就混有恶意样
30、本，会很大程度上干扰最终结果；2018 年 美国东北大学的研究团队以一个判断患者用药量的 AI 为例。只需加入 8%的恶意数据，就能使模型对超过 50%的患者提供错误的判断；4）利用平台接口盗取模型 AIaaS 平台是 AI 时代的新业态，众多云服务商提出的，帮助客户训练模型。黑客可通过 API 接口调用模型，反推出参数，间接盗取模型；2016 年 康奈尔大学团队通过调用亚马逊和 BigML 平台接口，使用模型，直接复现了该模型。模型是个黑箱，但团队已知测试数据和 AI 模型识别的结果，由此反推出黑箱中的参数，复现了模型，成功率几乎 100%；数据来源：360 安全实验室、腾讯安全实验室、ar
31、xiv、国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 11 of 37 360 安全实验室发现三大机器学习训练平台上，提供的开源库存在的安全漏洞，被黑客攻击会带来几种危害，轻则用户无法使用开源库的功能，系统崩溃，重则系统管理员权限被篡改、系统直接被远程侵占等。表表 5.第三方开源库被发现致命漏洞第三方开源库被发现致命漏洞 机器学习机器学习 框架框架 开源开源库库 发现的漏洞发现的漏洞 潜在威胁潜在威胁 是否是否修复修复 TensorFlow numpy CVE-2017-12852 DOS 拒绝服务 未 TensorFlow wave.py CVE-2017-14144 DOS
32、 拒绝服务 未 Caffe libjasper CVE-2017-9782 获取 root 权限 未 Caffe openEXR CVE-2017-12596 系统崩溃 是 Caffe/Torch opencv CVE-2017-12597 堆栈溢出 是 Caffe/Torch opencv CVE-2017-12598 系统崩溃 是 Caffe/Torch opencv CVE-2017-12599 系统崩溃 是 Caffe/Torch opencv CVE-2017-12600 DOS 拒绝服务 是 Caffe/Torch opencv CVE-2017-12601 系统崩溃 是 Caff
33、e/Torch opencv CVE-2017-12602 DOS 拒绝服务 是 Caffe/Torch opencv CVE-2017-12603 系统崩溃 是 Caffe/Torch opencv CVE-2017-12604 系统崩溃 是 Caffe/Torch opencv CVE-2017-12605 系统崩溃 是 Caffe/Torch opencv CVE-2017-12606 系统崩溃 是 Caffe/Torch opencv CVE-2017-14136 整数溢出 是 注：CVE 共享漏洞库，可通过编号找到安全团队提交的漏洞http:/ Risks in Deep Leani
34、ng Implementations 2.2.预测：决策被操控预测：决策被操控 当 AI 模型完成训练，用来识别、预测时，存在更加致命的问题。以图像识别为例，AI 模型会受到环境干扰，比如同样的物体换个角度或被树叶遮挡就不认识了等情况。更有研究者发现，AI 模型可以有意图被欺骗，且该领域的关注度日益提升。仅以胶带遮盖就能影响仅以胶带遮盖就能影响 AI 做出错误决定做出错误决定。以”计算机安全教母”宋晓东教授的论文为例，2018 年 6 月，研究团队仅在公路指示牌上贴了一些胶带，就导致 AI 模型把停车指示牌识别成了限速 45 公里每小时的指示牌。如果无人驾驶汽车上用的是这样的图像识别算法，在该
35、停车的地方保持45 公里每小时的车速，后果将不堪设想。产业观察 请务必阅读正文之后的免责条款部分 12 of 37 图图 7.交通指示牌被错误识别交通指示牌被错误识别 数 据 来 源：Robust Physical-World Attacks on Deep Learning Visual Classification 对抗样本欺骗算法。对抗样本欺骗算法。2013 年，Szegedy 研究团队发现通过在原图片上增加肉眼难以识别的噪点，能干扰机器学习模型做出错误的判断。以 2015年谷歌大脑 AI 科学家 Ian Goodfellow 团队的实验数据为例，AI 模型认为原图 57.7%确定是只熊
36、猫，加入噪点之后，AI 模型认为 99.3%是只长臂猿，而两张图肉眼看不出差别。图图 8.噪点影响了噪点影响了 AI 模型的判断模型的判断 数据来源：Explaining and Harnessing Adversarial Examples 想让想让 AI 识别成什么，就能让识别成什么，就能让 AI 识别成什么识别成什么。可以定制化生成噪点，诱骗 AI 识别成想要的结果，比如希望 AI 能将左转指示牌识别成右转，就可以通过机器学习算法反向操作生成带有特殊噪点的图片，且肉眼看起来也是左转，但 AI 会以很高的置信度将其识别成右转。对抗样本还具有对抗样本还具有传导传导性，同类模型都会中招。性，同
37、类模型都会中招。生成对抗样本需要能拿到AI 模型，被称为白盒攻击；但在很多场景下无法获得模型，被称为黑盒攻击。研究发现只要两个模型的训练数据是一样的，对一个模型生成的对抗样本也能欺骗另一个模型，比如很多图像识别模型都是用 ImageNet数据训练的，只要能攻破其中一个模型，同类模型都会中招。仅通过给图像添加遮挡、噪点等干扰因素，就能实现诱骗仅通过给图像添加遮挡、噪点等干扰因素，就能实现诱骗 AI 得出错误得出错误判断。这样的能力如果坠入攻击者手中，细思极恐。判断。这样的能力如果坠入攻击者手中，细思极恐。产业观察 请务必阅读正文之后的免责条款部分 13 of 37 2.3.应用：滥应用：滥用用危
38、害重危害重 技术都是双刃剑，而 AI 之剑格外锐利，比如用 AI 参数的隐蔽性触发后门攻击；用 AI 打骚扰电话，节省 80%的人工成本；伪造他人信息，足以骗过鉴别专家；将 AI 用于军事武器等。1）后门攻击后门攻击 后门程序是黑客攻击企业网络时常用的方法，能绕开网络关卡。AI 模型也是程序，可以被嵌入后门。与传统后门程序不同的是，AI 模型不是代码构成的，而是由一组参数构成，而目前大部分安全检测产品都是检测代码是否包含恶意语句，所以隐蔽性更高。2017 年 8 月，纽约大学的研究团队提出一种能在 AI 模型中嵌入后门的方法。当 AI 模型识别特定图案时，会触发隐藏在模型内的后门程序，最终给出
39、错误判断。图中在 STOP 指示牌上黄色小方块是触发机关的特殊图案，随后 AI 模型将停止指示牌识别成限速指示牌，而触发像素与正常像素的差别微乎其微。图图 9.用用 AI 模型触发后门攻击模型触发后门攻击 数据来源：BadNets:Identifying Vulnerabilities in the Machine Learning Model Supply Chain 2）骚扰骚扰广告广告 2019 年初，新京报一篇文章刷频朋友圈 给你打骚扰电话的可能不是人：AI 电话营销一天打一千通，揭露广告主通过 AI 来打骚扰电话，推销股票、贷款、房产等，节省 80%的人工成本。网上售卖 AI 推销机
40、器人的供应商很多，以云销为例，算法依托科大讯飞的语音识别、自然语言处理、HMM 神经网络算法，以及自主研发的智能多轮对话、客户意向判断等技术，每天可以拨打 800-1200 通电话，全年无休。不仅如此，云销提供的是 SaaS，用户只需在网上填好客户电话等信息即可。产业观察 请务必阅读正文之后的免责条款部分 14 of 37 图图 10.云销云销 AI 电话机器人覆盖各行各业的语料电话机器人覆盖各行各业的语料 数据来源：淘宝 3）伪造信息伪造信息 在 AI 出现之前，用科技手段制作虚假信息、伪造他人身份等问题一直存在。AI 的出现加快了这些问题的发展，使得虚假信息可以被制作得更以假乱真，从伪造图
41、像、语音，到签名，甚至视频内容。图图 11.用用 GAN 生成的人像越来越逼真生成的人像越来越逼真 数据来源：The Malicious Use of AI:Forecasting,Prevention and Mitigation 模仿他人视频资料。模仿他人视频资料。2018 年 1 月，华盛顿大学的研究团队利用 AI合成了一段奥巴马的讲话视频，其口型、面部表情基本看不出破绽。团队用神经网络分析了百万帧视频来确定奥巴马的面部表情如何变化，还包括嘴唇、牙齿、下巴周围的皱纹、脖子和衣领。图图 12.利用利用 AI 合成奥巴马讲话视频合成奥巴马讲话视频 数据来源：Synthesizing Obam
42、a:Learning Lip Sync from Audio 产业观察 请务必阅读正文之后的免责条款部分 15 of 37 模仿模仿他人他人声音说话声音说话。合成奥巴马依然需要大量的高清视频数据，更有甚者只需要少量数据即可合成语音。加拿大初创公司 Lyrebird 推出产品，仅需用户朗读 30 个句子，就能模仿该用户的声音讲话。创业团队来自于MILA，是Google在蒙特利尔大学建立的AI实验室。Lyrebird 的产品能通过神经网络从用户的声音中抓取关键特征，如音色、音调、音节、停顿等，并与数据库中相似的声音比对，合成全新的语句。公司希望该产品能帮助有语言障碍的人发声，或是改善类似 Siri
43、 这样的语音助手。模仿他人字迹签名。模仿他人字迹签名。用手写机器人代替写字已不是新鲜事，但想要模仿他人自己依然是难点。2017 GeekPwn 极棒黑客破解大赛，中国金融认证中心的团队利用生成式对抗网络 GAN，模仿科幻作家陈楸帆的笔迹，制作出一张难辨真假的欠条，其中一半的字迹骗过专业鉴定师。图图 13.AI 模仿他人字迹生成一张欠条模仿他人字迹生成一张欠条 数据来源：GeekPwn 三个案例都还处在概念阶段，技术还有破绽，且前期训练对数据要求较高，因此被合成的都是美国总统。随着像斗鱼、抖音等视频社交普及，有更多一般公众的高清视频能在网上轻松获取，给合成他人信息提供了数据基础。如果这些技术使用
44、得当，将便捷我们的生活。反之，将会出现大量虚假反之，将会出现大量虚假信息充斥网络、危害财产安全，也许几年后，没有区块链防伪过的新闻信息充斥网络、危害财产安全，也许几年后，没有区块链防伪过的新闻都不敢信。都不敢信。2017 年我国浙江、湖北等地区已发生多起利用语音合成技术假扮受害人亲属实施诈骗的案件。4）用于军事用于军事 2018 年 6 月，4000 名员工内部请愿抗议 Google 与五角大楼签订 Maven项目。Maven 项目主要是把图像识别模型用于发现和跟踪军事目标，如人、车和建筑物，预计每年能给 Google 带来 1500 万-25 亿美元的收入。最终由于员工抗议，Google 暂
45、停了项目续约。产业观察 请务必阅读正文之后的免责条款部分 16 of 37 没有谷歌的参与，Maven 项目依然在推进中。该项目全名叫算法作战交叉功能工作小组（Algorithmic Warfare Cross-Functional Team，AWCFT），旨在通过更好的算法取得战斗优势，打击恐怖组织。美军内部已设立专项小组，部署到中东和非洲的 6 个地区，帮助分析无人机收集的图片和视频数据。将将 AI 用于军事被认为是“第二核武”用于军事被认为是“第二核武”。相比于核武器，AI 武器的门槛更低、可复制性强、打击更精确，且容易部署到现有装备上。2018 年 8 月，委内瑞拉总统在公开活动中受到
46、无人机炸弹袭击，这是全球首例利用 AI进行的恐怖活动。表表 6.各国各国计划将计划将 AI 用于军事用于军事 时间时间 相关事件相关事件 2016 年 美国 Psibernetix 公司开发的 AI 飞行员 ALPHA，在模拟战中击败人类飞行员。2017 年 4 月 美国 Maven 项目启动，旨在加速国防部从硬件驱动向软件定义、数据驱动转型。2017 年 俄罗斯开始大量列装机器人，计划到 2025 年，无人系统在俄军装备结构中的比例将达到 30%2018 年 12 月 日本政府制定防卫计划大纲，将推进 AI 和无人机的使用 2019 年 1 月 日本防卫省将加快引入防卫用人工智能和无人机 2
47、019 年 发布中期防卫力整备计划中，日本计划购买 3 架用于警戒监视周边海域的舰载无人机，将要引进 20架。数据来源：参考消息、信通院、国泰君安证券研究 2.4.普及普及：社会社会新问题新问题 AI 应用在各行业的渗透率快速提升，然而在 AI 融入生活的同时，也带来了新问题，与当前社会的法律、道德体系发生碰撞，比如算法黑箱、追责不清、算法偏见、替代人类等问题带来的争议性也随之提升。表表 7.AI 的渗透率提升带来新的社会问题的渗透率提升带来新的社会问题 带来新问题带来新问题 相关相关 AI 应用应用场景场景 1）模型黑箱 AI 只对现象进行统计归纳，不对其原因进行推理，使人类很难理解 AI
48、的脑回路。AI 辅助法官做判决；AI 辅助医生提供诊断，需要有理有据；2）追责不清 AI 逐渐从辅助人类做出决定，发展到替人类做决定。决定者也得为后果负责，而责任由谁承担？在自动驾驶模式下发生车祸，司机还是车厂负责；3）道德抉择 危急关头，部分决策面临两难，如果 AI 预设算法，相当于提前决定要牺牲谁。自动驾驶选择救司机就得撞行人，如果避开行人就得牺牲司机？4）算法偏见 AI 会揭露潜藏在数据中的真相，但部分真相与公众道德观不符，引发争议。AI 辅助筛选简历；性别、地域等或成为争议点。5）替代人类 因为人们对人脑和 AI 的误解，导致预期被替代的工作依然存在，而意想不到的工作被替代。AI 作曲
49、；AI 作画拍出 300 多万元；放射科医生依然需要；数据来源：国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 17 of 37 1）模型黑箱：模型黑箱：AI 模型的黑箱源于两方面：深度神经网络层数太多，不易解读；模型训练中，权重的生成，完全基于统计方法，没有逻辑支撑。在部分应用场景，人们不在意 AI 得出结论的原因，比如精准营销的千人千面、听歌识曲等。而在部分场景，即使 AI 的准确率远高于人类，也需要知道原因，才敢信任机器的建议，比如股票推荐、辅助诊疗。2）追责不清）追责不清：很多场景希望用 AI 替代人类做决策，以保证决策的理性和稳定。然而决策者需要对决策后果负责。以自动驾
50、驶为例，当汽车控制权在 AI 时，发生车祸，责任该有谁承担？如果由司机承担，司机并没有犯下过错；而如果由 AI 承担，会有肇事者通过 AI 逃避责任。自动驾驶造成的车祸越来越多。当前还没有厂商的自动驾驶系统能达到 L5，事故也多是由于司机没有目视前方，而是把控制权完全交给了 AI 而造成的。表表 8.近年发生的恶性自动驾驶事故近年发生的恶性自动驾驶事故 时间时间和地点和地点 厂商厂商 自动驾驶事故自动驾驶事故 2016 年 1 月 京港澳高速 河北邯郸段 特斯拉 L2 Model S 撞上了一辆作业中的道路清扫车，司机不幸身亡。交警判定司机负主要责任，后期调查中，特斯拉承认汽车当时处于自动驾驶