CLEANN:一种屏蔽嵌入式神经网络免受在线Trojan攻击的框架

如今,借助人工智能(AI)工具和机器学习算法,它们已进入多种环境,评估其安全性并确保其免受网络攻击是至关重要的。由于大多数AI算法和模型都是在大型在线数据集和第三方数据库上进行训练的,因此它们容易受到各种攻击的攻击,包括神经木马攻击。

CLEANN:一种屏蔽嵌入式神经网络免受在线Trojan攻击的框架插图

当攻击者在训练期间将所谓的隐藏木马触发器或后门插入到AI模型中时,就会发生神经木马攻击。此触发器使攻击者可以在以后的阶段劫持模型的预测,从而导致其对数据进行错误分类。检测这些攻击并减轻其影响可能非常具有挑战性,因为目标模型通常运行良好且符合开发人员的期望,直到激活Trojan后门为止。

加利福尼亚大学圣地亚哥分校的研究人员最近创建了CLEANN,这是一个旨在保护嵌入式人工神经网络免受Trojan攻击的端到端框架。发现该框架在arXiv上预先发表的论文中提出,并将在2020年IEEE / ACM国际计算机辅助设计大会上提出,其性能优于以前开发的Trojan屏蔽和检测方法。

CLEANN的研究人员之一Mojan Javaheripi告诉TechXplore:“尽管人工智能和自治系统具有所有好处,但仍然存在危及其安全性/完整性的严重威胁。” “这些威胁之一是神经特洛伊木马,即故意导致AI模型出错的恶意输入。CLEANN是一个轻量级且有效的系统,它监视部署的AI模型以确保恶意(即Trojan)输入不会触发不良行为。”

Javaheripi和她的同事开发的框架确定了安全输入数据的特征。随后,它基于这些特征分析新数据,以便发现特洛伊木马触发器并纠正它们在插入它们的AI模型中引起的错误。

CLEANN:一种屏蔽嵌入式神经网络免受在线Trojan攻击的框架插图(1)

(a)具有水印和正方形触发器的示例木马数据,(b)重建错误热图,以及(c)来自异常值检测模块的输出掩码。图片来源:Javaheripi等。

Javaheripi解释说:“ CLEANN学习了良性输入的稀疏重建。” “然后,它使用稀疏恢复将恶意样本投射到学习到的良性空间中。这样做,我们不仅可以检测到特洛伊木马,还可以阻止其恶意影响。”

在使用基于神经网络的图像分类模型进行的一系列初步评估中,CLEANN取得了令人鼓舞的结果。实际上,这是同时实现高检测率和高决策校正率的第一个轻量级防御。此外,与先前提出的神经木马缓解方法相比,它不需要标记或注释的数据,也不需要重新训练目标AI模型,这两者都非常昂贵且耗时。

Javaheripi和她的同事还开发了支持其框架的专用硬件。该硬件可用于高效,实时地执行框架,从而减轻Trojan攻击所造成的危害。

Javaheripi说:“迄今为止,提出的大多数特洛伊木马防御方法都会带来很高的执行开销,从而阻碍了它们在嵌入式系统中的适用性。” 据我们所知,没有任何早期工作为实时自治应用程序提供所需的轻量级防御策略。”

研究表明,将稀疏恢复技术仔细应用于AI模型的选定信号可以帮助保护这些系统免受在线Trojan攻击。将来,他们开发的新框架可用于保护现有和新开发的AI系统免受在线Trojan攻击。

Javaheripi说:“在接下来的研究中,我们计划将CLEANN中使用的方法扩展到图像分类以外的其他领域,例如语音处理和视频。” “此外,随着对AI模型的攻击不断变化,我们将不断调整防御策略,以克服新出现的威胁。”

科技博闻

Surface Duo 或将于8月底上市

2020-8-9 8:58:46

科技博闻

阿里云网盘 Teambition 公测预约

2020-10-11 9:43:24

0 条回复 A文章作者 M管理员
    还没人回复,消灭零回复就靠你了少侠
个人中心
今日签到
有新私信 私信列表
搜索