浅谈AI系统风险管理评估 | 为什么企业的人工智能需要专属的“安全护栏”？

在当今的商业语境下，人工智能（AI）已经从实验室技术迅速转化为驱动企业增长的核心生产力。无论是用于优化供应链、辅助医疗诊断，还是通过大模型提升客户服务效率，AI技术的潜力毋庸置疑。然而，在积极拥抱技术红利的同时，许多企业在风险管理上往往会陷入一个常见的误区：将AI系统等同于传统的IT软件进行管理。

这种认知的错位，往往会为企业的稳健运营埋下隐患。AI系统与传统软件在底层逻辑上存在本质的差异，这也是为什么AI亟需建立一套专属“安全护栏”的核心原因。

传统IT系统安全与AI系统风险管理的本质差异：

要理解AI系统风险的特殊性，首先需要明确“确定性”与“概率性”的区别。

传统IT系统具有‘确定性’： 传统软件运行在开发者预设的明确规则之上。其风险主要表现为代码缺陷或外部网络入侵等‘对确定规则的破坏’。因为运行逻辑是明确的，技术人员通常可以通过排查代码来精准追溯并解决问题。

主流AI系统具有‘概率性’： 广泛应用的亚符号AI技术（如深度学习），其逻辑并非由人类逐行编写，而是借助计算技术优化参数，从历史数据中提炼规律并生成概率模型。这种概率性使得AI系统面临全新的内在风险： 系统可能因训练数据质量低下、模型过度拟合或算法偏见等问题造成不可预期的危害。因此，AI系统风险管理必须突破传统的安全防御框架，转向对数据、模型等方面全生命周期的系统性治理。

基于上述的逻辑差异，AI系统在实际部署后还会展现出有别于传统软件的动态特征，这也促使企业风险管理向新的阶段迈进。机器学习的“动态特征”与持续演进：

传统IT系统在正式上线并交付后，只要代码不被修改，其运行状态基本是静态和固定的。但在AI领域，尤其是对于具备持续学习能力的系统而言，系统的运行表现则会随外部环境的变化而波动。

模型衰退：AI系统的表现高度依赖于其运行环境。随着时间的推移，系统输入数据的统计特征可能会发生改变（即数据漂移，例如图像分辨率改变或某类数据频率增加）；同时，真实的业务逻辑、决策边界或目标也可能发生转移（即概念漂移，如宏观经济波动导致消费者偏好改变）。如果不加以干预并建立定期的重新训练（Retraining）机制，AI的准确性和鲁棒性会不可避免地衰减。

非预期行为：由于复杂的AI模型（如深度神经网络）往往具备某种程度的“黑盒”特性，它们在面对训练阶段从未见过的罕见边缘场景（Edge Cases）时，可能会输出完全超出设计者预期的结果。

持续学习引发的“灾难性遗忘”风险：具备持续学习特征的AI系统通过生产环境下的实时增量训练实现模型自我更新。但模型在同化新场景知识的过程中，可能产生非预期的覆盖效应，导致先前掌握的有效知识储备或决策逻辑发生丢失，引发“灾难性遗忘”的问题。

 

迈入监管时代：从“随机应变”到“体系化治理”

正是由于上述AI系统的典型特征，仅依赖开发人员的个人经验或企业原有的网络安全制度，已不足以应对AI领域复杂的商业与伦理风险。 

当AI系统的决策开始直接影响企业商业信誉、用户个人权益甚至社会公众利益时，风险管理就不再只是企业的“可选项”，而是法律层面的“必答题”。《欧盟人工智能法案》（AI Act）明确要求，高风险AI系统必须建立、实施并记录一套持续迭代的风险管理系统（Risk Management System），以实现对AI系统全生命周期内不确定性的系统化识别、评估与控制。

为协助企业将相关要求落到实处，Intertek参考ISO/IEC 23894:2023推出了“AI系统风险管理评估”服务。目前，此服务的试点应用（pilot case）已开放，详询 400 886 9926。