工作动态

　　今年的《政府工作报告》中提出，深入推进数字经济创新发展，深化大数据、人工智能等研发应用，并首次提到开展“人工智能＋”行动，同时提出，要进一步提高网络、数据等重点领域的安全保障能力。同时，生成式人工智能技术的加速演进正在推动全社会从数字化向智能化转型，人工智能在打造新的生产工具的同时，也带来了前所未有的网络安全挑战。

　　人工智能带来网络安全新挑战

　　近年来，我国网络安全防护能力和水平不断提升，网络安全产业发展迅速。但随着全社会数字化转型程度的加深，以及人工智能等数字技术的不断发展，网络安全风险和挑战不断增加。尤其是生成式人工智能技术的应用，可以快速生成钓鱼邮件、编写恶意软件与代码，导致攻击数量爆发式增长。

　　根据奇安信集团日前发布的《2024人工智能安全报告》，2023年基于AI的深度伪造欺诈增长了3000％，基于AI的钓鱼邮件增长了1000％；目前已发现多个有国家背景的APT组织，利用AI实施了10余起网络攻击事件。该报告认为，具有巨大潜力的AI技术同时带来诸多挑战：一方面放大了现有威胁，比如钓鱼邮件、恶意软件等；另一方面引入了新型威胁，如AI自动化攻击、AI深度伪造等。而根据IDC发布的报告，随着人工智能技术的发展，黑客将利用它们来获取优势。这将增加各行业对网络安全服务的需求，例如高级云安全监控和警报、SOC和合规性要求以及网络渗透测试等。

　　在刚刚结束的全国两会上，代表委员对人工智能安全问题也给予了高度关注。“AI加剧了攻防失衡，利用和针对AI的攻击层出不穷，网络安全‘易攻难守’。在AI恶意利用方面，人工智能大幅降低了网络攻击门槛，不懂代码、不懂技术的普通人也能成为黑客，专业的黑客组织可以利用人工智能对网络攻击进行改造升级。”全国政协委员、全国工商联副主席、奇安信科技集团董事长齐向东表示。

　　人工智能安全体系需要加快完善

　　日前，全国网络安全标准化技术委员会正式发布《生成式人工智能服务安全基本要求》，从语料安全、模型安全等多个维度规定了生成式人工智能服务在安全方面的基本要求，这也是国内首个面向AIGC服务安全领域的技术文件。

　　根据这份要求，面向特定语料来源进行采集前，应对该来源语料进行安全评估，语料内容中含违法不良信息超过5％的，不应采集该来源语料；面向特定语料来源进行采集后，应对所采集的该来源语料进行核验，含违法不良信息超过5％的，不应使用该来源语料进行训练。

　　实际上，人工智能安全问题早已引起管理部门的高度重视，2023年7月13日，国家网信办联合国家发展改革委等部门出台了《生成式人工智能服务管理暂行办法》，要求提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务，涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。2023年7月24日，中共中央政治局召开会议，提出促进人工智能安全发展。

　　在刚刚召开的全国两会上，不少代表委员关注到人工智能的安全与合规问题，从技术、法律等角度就促进人工智能健康发展提出了建议。全国政协委员、金杜律师事务所高级合伙人张毅建议，尽快推进“人工智能法”的制定和出台，通过统一原则性立法，提炼规范人工智能算法的共性规则，并基于不同技术类型、应用领域的人工智能的风险差异，通过有针对性的法规予以规制。“安全是一切发展的基石和底线，通用大模型的安全，是保障人工智能技术可持续发展、实现广泛应用的重要基础，对确保人工智能系统的可靠性和安全性意义重大，更需国家和企业重点应对和保障。”全国政协委员、360集团创始人周鸿祎表示。

　　AI带来的安全问题还需要用AI来解决

　　Sora的横空出世，让人们看到了人工智能大模型的成长速度及应用前景，与此同时，利用人工智能技术进行网络攻击的事件越来越频发。

　　解铃还需系铃人，当前破解人工智能安全问题的关键手段还是人工智能。在齐向东看来，我们要大力推进“AI＋安全”的科技创新，把AI安全技术融入数字化场景。同时，鼓励企业和高校把最新的AI科研成果与网络安全攻防技术相融合。借助AI能力加速网络安全技术创新、安全防护体系创新，这样安全技术就能比AI技术跑得更快。

　　在今年的全国两会上，周鸿祎建议，国家要更加重视通用大模型安全问题，给予兼具安全和AI能力的企业专项政策扶持，更好发挥其解决通用大模型安全问题的重要作用。安全需要贯穿通用大模型的整个构建过程，确保安全措施在系统的整个生命周期中得到充分实施。