Al安全治理实践

华为中国区网络安全与隐私保护CTO

冯运波

各位领导、各位嘉宾，大家下午好，非常荣幸受组委会邀请来分享华为在人工智能安全治理方面的实践。

人工智能的发展确实极为迅猛，尤其是随着DeepSeek在今年推出之后，其一周内的下载量便高达1亿次，速度之快令人瞩目。回顾历史，人类的通信从最初的单个用户发展到1亿用户，耗费了整整70年；然而，DeepSeek问世后，仅用7天时间便实现了1亿用户的增长，这充分表明人工智能在某些领域的突破性进展确实极为迅速。

人工智能的发展让我们见证了大型模型是一种服务形式，以云服务的方式为大众提供多样化服务。如今，云上的大型模型可谓“百模千态”，涵盖多种形态，正加速推动各行业的数字化转型。随着模型应用的普及，算力需求也呈现出爆炸式增长：一方面，通用算力预计在未来五年内将增长10倍；另一方面，AI算力的增长更为惊人，未来五年可能达到500倍，这一增速令人瞩目。

然而，在AI迅猛发展的同时，人工智能也面临着诸多威胁与挑战。根据新华网等多家媒体的报道，我们统计了大量AI大模型及开源大模型，发现其中90%未采取任何安全措施，处于“裸奔”状态，潜藏着诸多安全风险和隐患。

归结起来可能分为三个方面：

一是评估计算环境的风险。AI高度依赖于计算环境，而这个环境易受网络攻击、硬件攻击以及漏洞利用的威胁，甚至可能面临模型被窃取的风险。此外，AI所依赖的部分软件可能是开源的，且其依赖的容器环境等也均有可能遭受各种攻击。

二是模型自身的安全风险，针对大型模型，其数据模型可能遭受攻击。例如，人工智能的大型模型高度依赖数据，而数据可能存在数据投毒问题。模型本身可能含有后门或被篡改，利用特定提示语进行注入攻击，这种提示注入可能导致大型模型陷入死循环，甚至输出不可预知的结果。此外，我们还观察到对抗性样本攻击，这些攻击可能使原本正常的模型产生不可预见的后果。

在这些不可预料的后果中，尤其是在实际应用场景中，可能会导致严重事故。例如，车辆在识别交通标志时出错或无法识别，就可能引发交通事故。

三是应用和服务的威胁主要体现在两个方面：一是大模型应用的滥用，包括大模型的深度伪造等，这些技术常被用于各种电信诈骗和众多黑产应用中；二是算法偏见，这导致部分用户遭受了损害。

面对人工智能的风险与挑战，全球各国纷纷出台政策，以协调人工智能的安全与发展关系。国际上，自2011年联合国教科文组织提出《人工智能能力问题建议书》以来，相关议题持续受到关注。2023年“一带一路”峰会期间，习近平总书记提出将发布《全球人工智能治理倡议》。该倡议明确了一系列核心观点和主张，包括“以人为本”“智能向善”等包容共享的人工智能治理原则。

同年11月，在英国布莱切利发布的《布莱切利宣言》也进一步明确了人工智能的相关原则。同时，在法规和标准方面，我国中央网信办等部委联合发布了《生成式人工智能服务管理办法》，涵盖了内容标识办法和人工智能治理框架等一系列法规标准。

美国在确保人工智能技术领先的同时，也在治理方面提出了一系列方案和标准，例如算法责任法案，以及在其发布的《风险管理框架》中包含的人工智能风险模型等。欧盟则以其广为人知的《人工智能（AI）法案》提出了对人工智能进行分类、分级的治理策略。对于高风险或不可接受的风险，必须严格管理；而对于中低风险，则可能会适当放宽限制。

华为近年来在全球范围内，由于我们在众多国家开展业务，面对人工智能所需应对的各种监管、政策法规和标准要求，因此我们高度重视人工智能的治理工作，并已提出自身的人工智能治理框架/架构。这一框架基于外部法规标准及优秀实践洞察，构建了端到端的人工智能风险治理体系。

我们的愿景是提供负责任的Al，确保智能向善，并提出了包括透明、多样性、非歧视、可追溯、公平、安全、鲁棒性、数据安全与隐私保护等在内的治理原则。针对人工智能治理，我们制定了一系列安全战略、政策、组织流程、风险和控制措施，以及持续改进跨文化意识方面的管理制度。同时，我们将人工智能安全治理融入研发和运营过程。华为在人工智能领域的涉猎较为广泛，从底层芯片如昇腾芯片，到上层开发工具，再到盘古大模型及各类应用，包括行业应用等，均有涉及。

在整个开发过程中，我们设置了多重护栏，包括数据护栏、模型护栏、应用护栏、内容护栏和运维护栏等，以确保开发出的产品具备安全性，保证我们提供的产品和解决方案的安全可靠。

人工智能的治理能力还体现在工程能力方面，我们在数据工程、模型工程、软件工程、IT和工具链等方面构建了相应的能力。通过这些能力的构建，我们期望与相关方共同实现人工智能责任共担，推动人工智能治理的工程化、标准化和可认证，这正是我们的人工智能治理框架的核心目标。

在实践层面，我们首先在人工智能全生命周期中设立了五道安全护栏，并在算力底座方面构建了四大可信根技术，以确保人工智能能够安全、可靠地运行。具体而言，这四大可信根技术基于CPU、GPU、NPU提供的加密引擎，同时在服务器操作系统和存储层面构建了可信计算能力及可信互联能力。

在交付客户算力底座时，我们还须具备这些关键能力，它们能够有效保护我们的大模型和数据。例如，机密计算为上层大模型应用提供了硬化环境，确保开发的大模型和训练数据得到安全保护。此外，可信计算旨在防止平台遭受攻击、模型和数据被篡改，以及软件被恶意修改等，从而提供全方位的安全保障。

这五个护栏分为数据安全护栏、模型安全护栏、内容安全护栏、应用安全护栏和应用运维安全护栏，这几处护栏我分别介绍一下。

第一，数据安全护栏。大模型训练需要大量数据，这些数据来源广泛，可能包括爬取数据、采购数据以及开源数据。我们必须对数据来源进行严格审查，并在审查完成后，对数据内容进行合规性检查。通过数据质检、清洗等一系列措施，确保数据内容的安全性和隐私合规性，并实现双向可追溯，从而保障数据的安全性及其来源的可靠性。

第二，模型安全护栏。这个模型的安全护栏参考了业界的实践经验，例如在开发和训练行业大模型的过程中，像小艺这样的行业大模型，为了保证模型算法的安全性，采用了多模态定向抑制算法和强化学习等多种方法进行专门训练。同时，我们对大模型进行了相应的评测，这些全没问题，但我们仍会持续进行改进。

第三，内容安全护栏。涉及文档、图片、视频等多种内容，这些内容在输入和输出过程中，我们都设有安全风控漏洞护栏。在输入阶段，漏洞模型会通过外挂风控系统对文本、图片等内容进行审核，拦截有害信息，如涉敏感信息和不良信息等。通过这一外挂风控信息拦截机制，我们在输入端便进行了一系列拦截措施。同时，从数据和算法上进行对齐，确保模型在输出文本和图片时，也能实施有效地拦截，防止有害信息外泄。通过这些严格的内容风控措施，我们较大程度地保证了模型输出结果的合规性。

第四，应用安全护栏。在大模型的应用过程中，它容易受到某些攻击。因此，在大模型的应用阶段，我们也需要构建相应的安全防护措施。模型防护措施的主要目的是减少应用场景中的各类风险，正如我所列举的以下三个例子所示。

一是如果说我们正常需要大模型去总结一个News到com的内容，这是一个正常的任务流，这个任务流没有任何风险，我们就会得到一个正常执行。

二是总结恶意网站内容的时候，这个恶意网站有可能包含一些恶意代码，包含恶意代码内容的时候，在开始执行阶段就会进行拦截，因为有恶意代码。

三是比如说我要计算环境API密钥，这个密钥需要在计算过程中看输出结果是不是敏感信息，最后发现是带有敏感信息的，带来敏感信息泄露我们也会终止执行。

这都是真正模型在应用过程中，如果说中间有异常、有恶意，或者是带有敏感信息，我们都会做相应拦截。

第五，应用运维的安全。大模型在运营过程中，全生命周期（使用过程中）配备了一个攻击态势感知平台。该平台需在运营阶段持续监测可能的输入输出结果，依据历史数据进行分析，实施在线监测，并可能依赖外部攻击情报。这些情报在应用过程中被分析监测，旨在发现潜在的攻击行为，如图像攻击或对抗大模型等发生此类攻击，我会进行相应标注。

标注结果将分别存入黑库和白库，并将该模型应用于后续模型的处理过程，形成不断反馈的机制，以提升其检测能力。此外，平台还会定期生成攻击态势报告。这一系列措施构成了我们所说的“安全底座加五道护栏”，旨在全面支持大模型的安全运行。

最后，我这里做一个简要总结。由于大模型拥有广泛的应用场景，在开发过程中，我们构建了一些内生的安全能力。同时，大模型依赖于监管机构、产品提供方、服务方、认证机构以及应用各方的共同努力，携手打造一个负责任、可信赖的人工智能体系。并且，我们希望将这一体系实现工程化、标准化，确保其可认证性。最终，保障整个人工智能生态的安全，支撑人工智能产业的可持续发展。我的演讲到此结束，谢谢大家！

（以上内容根据嘉宾发言速记整理）