风险

说明

备注

1

人工智能训练数据安全风险

训练数据污染，导致人工智能决策错误

药饵攻击：在训练样本中掺杂少量恶意样本，能较大限度干扰AI模型准确率

数据投毒使自动驾驶车辆违反交通规则甚至造成交通事故

2

人工智能算法安全风险

智能算法模型脆弱性，容易受到人为闪避攻击、后门攻击

对抗样本生成方法可诱使智能算法识别出现错误判断

①特定打印图案可以避开人工智能视频监控系统

②对路标实体做涂改，使AI路标识别算法将“禁止通行”路标识别成为“限速45”

③AI算法模型中嵌入后门，当输入图像中包含特定图案触发

3

人工智能系统代码实现安全风险

人工智能系统和算法都依赖代码正确实现

开源学习框架存在未知安全漏洞，导致智能系统数据泄露或失控

TensorFlow、Caffe、Torch等深度学习框架及其依赖库存在安全漏洞

4

人工智能技术滥用风险

人工智能技术过度采集个人数据和自动学习推理服务，导致隐私泄露风险增加

①亚马逊智能音箱后门可实现远程窃听并录音

②深度学习挖掘分析数据资源，生成逼真虚假信息内容

③利用智能推荐算法，识别潜在易攻击目标人群，投送定制化信息和钓鱼邮件

5

高度自治智能系统导致社会安全风险

自动驾驶、无人机等智能系统非正常运行，可能直接危害人类身体健康和生命安全

①自动驾驶汽车无法识别蓝天背景下的白色货车，引发车祸致驾驶员死亡

②智能机器人广泛使用迫使大量机械性、重复性工作岗位减少，引发机器人与自然人就业竞争问题、社会公平性问题