在安全关键型应用程序中(AI安全威胁矩阵),人工智能技术的安全性问题(AI安全)日益成为人们关注的焦点。除了性能之外,工程师和用户还应考虑AI系统的安全性问题(AI安全),并确保AI模型满足不同业务场景的需求,避免恶意控制,影响,欺诈,错误和隐私泄露所造成的严重后果(AI安全)。为了向开发人员和用户提供有关AI系统安全问题的更好指南,本矩阵(AI安全威胁矩阵)旨在发布一个框架,以基于ATT&CK范式从对手的角度阐明攻击过程和特定的攻击技术,该方法是在网络安全领域已经相对成熟。(腾讯AI安全专家:安全可信是人工智能的底线 《AI安全威胁风险矩阵》免费开放。从攻防角度看,当前业界还缺少一份具有实用价值的AI安全技术指导框架,结合AI和安全行业经验,腾讯AI Lab、腾讯朱雀实验室、香港中文大学(深圳)、深圳大数据研究院大数据安全计算实验室一同调研和研究了AI安全领域最前沿的技术成果,给出了业界第一份针对AI安全的具有实际指导建议的技术框架——《AI安全威胁风险矩阵》。《AI安全威胁风险矩阵》的独特性在于它率先以全生命周期视角来看待人工智能领域可能存在的各类安全问题。行业可以根据自身的AI部署运营基本情况,对照《AI安全威胁风险矩阵》来排查可能存在的安全问题,根据推荐的防御建议,加固已知存在的系统风险。
AI安全威胁矩阵是一份具有高实用性的AI安全技术指导框架,AI安全的威胁风险矩阵首次全面梳理了学术及工业界最前沿的AI安全研究,从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段,帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法,为AI系统的安全部署和应用落地提供重要的技术参考。人工智能技术推动了经济社会的各个领域从数字化,信息化向智能化的发展,但同时也面临着严重的安全性威胁(AI安全攻击矩阵)。从数据的恶意污染到算法自身存在技术脆弱性(AI安全威胁矩阵),以及隐私泄露等各方面各种威胁伴随着AI技术的广泛应用随之而来。尽管学术界与工业界针对AI安全问题提出了很多防御方法,但系统化的依据安全原理来整体看待AI安全问题的解决方案尚未被提出。我们根据(AI安全)安全领域成熟的ATT&CK框架作为安全的理论依托,聚焦当前人工智能风险,涵盖AI生产运行环境下全生命周期过程中的安全问题(AI安全),提出一套AI安全威胁风险矩阵(AI安全威胁矩阵),确保AI模型在不同的业务场景下的安全性,使其不会被攻击者轻易控制、影响、或欺骗,避免造成结果误判或隐私数据泄漏等严重后果。该AI安全的威胁风险矩阵强调真实场景,并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。这份AI安全威胁矩阵包含:从AI模型开发前的环境搭建,到模型的训练部署,以及后期的使用维护。