|
人工智能技术在各行业规模化落地应用的同时，其内生性、复合型风险持续凸显，AI风险管理与合规评估已成为企业智能化建设合规治理的重要抓手。本文重点梳理并拆解AI系统五大类典型特定风险源，系统阐释各类风险的形成机理与潜在危害，帮助企业客观认知AI技术固有局限性，为科学制定风险识别、防控与治理策略奠定基础。
一、透明度与可解释性的双向风险源
透明度与可解释性是保障AI系统合规可信、决策可追溯、责任可界定的核心属性，该维度存在双向风险特征，既存在能力缺失引发的治理风险，也存在过度披露引发的安全风险，需要企业建立精细化平衡管控机制。其中，“透明度”涉及组织沟通活动与决策的属性，以及系统向利益相关者提供合适信息的属性。而‘可解释性’是指系统以人类能够理解的方式表达影响其结果的重要因素的属性。
若AI系统透明度、可解释性不足，无法提供适当信息会负面影响组织的问责制（Accountability）与系统的可信度（Trustworthiness），可能对系统安全性、公平性与鲁棒性造成连锁负面影响，诱发各类运营与合规风险，从而导致“缺失风险”。
另一方面，若无节制公开系统运行数据、算法核心逻辑等敏感内容，将引发衍生安全风险，极易造成用户个人隐私泄露、企业涉密信息违规公开、核心知识产权流失等问题，因此导致“过度披露风险”。对此，企业需特别注意在信息披露与资产保护间建立严谨的平衡。
二、机器学习体系衍生风险源
对于采用机器学习技术的AI系统，机器学习模型是影响系统性能与风险的重要技术组件，系统运行稳定性、准确性高度依赖训练数据质量与算法模型的适配耦合，数据治理、算法设计、迭代机制等环节的短板与漏洞，均会衍生系统性风险，核心风险主要涵盖三大类别：
- 数据质量与算法偏差风险： 训练、测试及生产数据的质量直接影响系统的安全性、鲁棒性及公平性。在 AI 语境下，“偏差”（Bias）是指处理过程中的系统性差异。若存在不当偏差，可能导致“不公平”（Unfairness），即对不同群体产生不正当的差别待遇，进而引发歧视风险。
- 数据采集安全风险： 若未能保障数据收集过程的安全，可能面临后期被操纵等风险。
- 持续学习风险： 采用“持续学习”（Continuous learning）的系统在运行阶段通过演变中的生产数据进行增量训练。这可能导致系统产生在部署阶段未曾预期的行为改变，加剧了运行的不确定性。
三、环境复杂性风险源
AI系统的运行风险等级与其应用场景复杂度高度相关，系统预设适配场景覆盖范围、对外部运行环境的认知能力，是诱发场景性风险的核心诱因。对于高度复杂或不确定的环境，若仅能实现“部分理解”，系统将无法预测所有可能遭遇的环境状态。这种环境认知的局限性，将造成系统决策适配能力存在固有短板，是AI系统运行阶段重要的场景性风险来源。
四、系统生命周期风险源
AI系统风险贯穿需求构思、研发训练、部署上线、迭代更新、下线退役的全生命周期，各阶段不当的方法或过程均会引入风险，其中两类风险具备高发性、典型性特征：
- 模型复用风险（Reuse）： 将运行良好的 AI 系统应用于其最初设计语境（Context）之外的场景，可能因需求差异引发严重问题。
- 验证与确认风险： 在发布更新版本时，若缺乏充分的验证（Verification）和确认（Validation）过程，可能无法有效排查迭代漏洞与适配问题，极易导致系统质量、可靠性或安全性的意外退化（性能倒退）。
五、针对性信息安全威胁
相较于传统信息化系统，AI系统存在专属的人工智能信息安全威胁，直接冲击系统安全、公平、稳定的核心运行目标，其中较为典型的攻击威胁包括以下三类：
- 数据投毒攻击（Data Poisoning）：通过污染、操纵或向训练数据中注入恶意数据，影响模型训练结果及后续行为。
- 对抗性攻击（Adversarial Attacks）：通过精心构造或扰动输入，诱导系统产生错误或攻击者预期的输出。
- 模型窃取攻击（Model Stealing）：攻击者通过接口查询、非法访问等方式获取模型信息或近似复制目标模型。
综上所述，AI系统风险具备全域性、多样性、技术性与传导性特征，传统信息化风控模式往往难以充分覆盖人工智能差异化风险管控需求，需紧扣AI技术固有特性，建立专业化、精细化、全周期的风险识别与管控体系。全面识别、科学研判、主动防控上述专项风险，是企业构建AI合规治理体系、制定风险防控策略的核心前提。为此，Intertek 依托ISO/IEC 23894:2023推出了“AI系统风险管理评估”服务与试点应用，可协助企业全面梳理AI治理现状、精准排查各类风险隐患、输出定制化优化提升方案，助力企业实现AI风险标准化管控、常态化治理，保障人工智能业务合规、安全、稳定运行。
下期预告：将进一步分析当上述风险转化为实际事件时，将对企业的业务、个人用户以及更广泛的社会层面产生怎样的实质性影响。
|
