性能提升30%!中国电信开源12B星辰大模型
发布时间:2024-04-18 10:17 文章来源: 人民邮电报

  近日,中国电信开源12B参数规模星辰语义大模型TeleChat-12B,相较1月开源的7B版本,在内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域的能力提升超40%。在CEval、MMLU、AGIEVAL等国际权威榜单上,TeleChat-12B排名处于国内同级别参数开源模型前列。该模型的开源进一步促进了生态繁荣,助力AI产业加速发展。据悉,中国电信还将于年内开源千亿级参数大模型。

  中国电信人工智能研究院(TeleAI)坚持完全自研自主可控,在中国电信首席技术官、人工智能首席科学家、TeleAI院长李学龙的带领下,加快研发创新,不断优化底层模型结构,有效提升模型稳定性和训练效果。海量高质量数据是保证大模型效果的基础,TeleChat-12B将7B版本1.5T训练数据提升至3T,优化数据清洗、标注策略,持续构建专项任务SFT(监督微调)数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问答效果。

  TeleAI通过更彻底的开源,推动大模型技术进步和大模型国产化进程。此次开源提供基础模型以及基于相应版本的对话模型,不仅支持传统的全量参数更新,还支持LoRa等只更新部分参数的高效微调方法,支持Deepspeed微调,支持int8和int4量化和国产芯片训练推理,推动大模型国产化进程。

  在加速探索创新的同时,星辰大模型也在深入推动人工智能与各行各业的融合,积极探索新兴的应用场景。星辰语义大模型已应用于行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过1500字,有效采纳率达到85.7%;支持企业经营分析、政务公开咨询、民生诉求接待等场景,可覆盖95%的实际业务场景,多轮理解准确率达到90%。除传统行业应用场景外,星辰大模型还积极探索前沿领域应用,赋能具身智能,解决无人机编排投入多、开发量大的问题,实现无人机智能编排轻量化建设。

  据悉,星辰大模型已在多个行业广泛落地,赋能千行百业转型升级。客服大模型在全国试点上线18个服务场景,充分赋能智慧客服和数字人,在激活十亿级的日志、百亿级的网络参数等海量数据资产的基础上,进一步深化智能化运营;星辰政务大模型已落地某市民生诉求场景,为市民提供在线文本问答服务,提升政务服务能力,提高市民满意度;星辰经分大模型已落地某市经信局,该局利用大模型生成能力快速草拟相关产业研究报告,简化知识检索流程,快速精准地查询所需知识内容,以便迅速准确地掌握发展动态,支持决策过程,并追踪全球经济形势和科技创新,满足产业洞察和分析需求。(记者 殿欣)

扫一扫在手机上查看当前页面

附件下载