解决方案banner

深圳环境保护安全教育信息中心APP安全监测服务

2020-12-03 00:00:31

人工智能+网络安全的应用一方面更加精准的对用户行为进行画像预测未知,但人工智能应用同时面临来自多个方面的威胁:包括深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。 这些威胁可能导致人工智能所驱动的识别系统出现混乱,形成漏判或者误判,甚至导致系统崩溃或被劫持,并可以使智能设备变成僵尸攻击工具。

针对人工智能中的安全问题,我们将提供一整套的安全解决方案,包括安全评估、安全加固、安全审计咨询,覆盖AI应用开发的全生命周期管理。

(1)安全评估

我们将提供AI模型安全评估检测系统,支持TensorFlow、Caffe2、Keras等深度学习框架,可针对AI模型生成对抗样本。该系统可为算法及模型安全性测评提供极大的便利,高效地使用最新的生成方法构造对抗样本数据集,以用于对抗样本的特征统计、AI应用测试性攻击验证。

本系统支持白盒攻击验证及黑盒攻击验证。其中,白盒攻击需要对模型结构深入了解,知道模型的结构、神经网络各层的参数以及梯度信息。黑盒攻击完全把模型当作一个黑盒,根据一定的算法,不断根据输出的反馈调整输入数据。黑盒攻击相对白盒攻击,攻击难度更大,可为模型安全性研究和AI应用提供重要的支持。

(2)安全加固

安全攻防通常都是相辅相成,黑产使用AI的速度已经大大超出我们的想象,目前公开的案件中,已经出现了多起使用AI技术进行网络攻击的案例,比如使用图像识别模型破解图形验证码,使用智能客服技术进行自动化网络欺诈。在对抗样本领域亦是如此,我们将提供通用的加固算法,方便开发者快速加固AI模型,初期将支持以下模型防御算法:Feature Squeezing、Spatial Smoothing、Label Smoothing、Gaussian Augmentation、Adversarial Training。

(3)安全审计

业务中使用AI模型,则需要结合具体业务自身特点和架构,分析判断AI模型使用风险。我们将为AI应用系统的设计提供综合安全审计与咨询服务,综合利用隔离、检测、熔断和冗余等安全机制设计AI安全架构与部署方案,增强AI业务产品健壮性。