分享缩略图
通义千问Qwen3开源, 揭秘全球开源模型新王诞生过程
来源:中国科学报 2025-04-30 10:07:49
大字

潮新闻客户端记者张云山

4月29日凌晨,阿里巴巴开源新一代通义千问模型Qwen3(简称千问3),参数量仅为DeepSeek-R1的1/3,成本大幅下降,性能全面超越R1、OpenAI-o1等全球顶尖模型,登顶全球最强开源模型。千问3是国内首个“混合推理模型”,“快思考”与“慢思考”集成进同一个模型,对简单需求可低算力“秒回”答案,对复杂问题可多步骤“深度思考”,大大节省算力消耗。

千问3采用混合专家(MoE)架构,总参数量235B,激活仅需22B。千问3预训练数据量达36T,并在后训练阶段多轮强化学习,将非思考模式无缝整合到思考模型中。千问3在推理、指令遵循、工具调用、多语言能力等方面均大幅增强,即创下所有国产模型及全球开源模型的性能新高:在奥数水平的AIME25测评中,千问3斩获81.5分,刷新开源纪录;在考察代码能力的LiveCodeBench评测中,千问3突破70分大关,表现甚至超过Grok3;在评估模型人类偏好对齐的ArenaHard测评中,千问3以95.6分超越OpenAI-o1及DeepSeek-R1。性能大幅提升的同时,千问3的部署成本还大幅下降,仅需4张H20即可部署千问3满血版,显存占用仅为性能相近模型的三分之一。

千问3性能图(采访对象提供)

千问3还提供了丰富的模型版本,包含2款30B、235B的MoE模型,以及0.6B、1.7B、4B、8B、14B、32B等6款密集模型,每款模型均斩获同尺寸开源模型SOTA(最佳性能):千问3的30B参数MoE模型实现了10倍以上的模型性能杠杆提升,仅激活3B就能媲美上代Qwen2.5-32B模型性能;千问3的稠密模型性能继续突破,一半的参数量可实现同样的高性能,如32B版本的千问3模型可跨级超越Qwen2.5-72B性能。

同时,所有千问3模型都是混合推理模型,API可按需设置“思考预算”(即预期最大深度思考的tokens数量),进行不同程度的思考,灵活满足AI应用和不同场景对性能和成本的多样需求。比如,4B模型是手机端的绝佳尺寸;8B可在电脑和汽车端侧丝滑部署应用;32B最受企业大规模部署欢迎,有条件的开发者也可轻松上手。

模型家族(采访对象提供)

千问3为即将到来的智能体Agent和大模型应用爆发提供了更好的支持。在评估模型Agent能力的BFCL评测中,千问3创下70.8的新高,超越Gemini2.5-Pro、OpenAI-o1等顶尖模型,将大幅降低Agent调用工具的门槛。同时,千问3原生支持MCP协议,并具备强大的工具调用(functioncalling)能力,结合封装了工具调用模板和工具调用解析器的Qwen-Agent框架,将大大降低编码复杂性,实现高效的手机及电脑Agent操作等任务。

据了解,千问3系列模型依旧采用宽松的Apache2.0协议开源,并首次支持119多种语言,全球开发者、研究机构和企业均可免费在魔搭社区、HuggingFace等平台下载模型并商用,也可以通过阿里云百炼调用千问3的API服务。个人用户可立即通过通义APP直接体验千问3,夸克也即将全线接入千问3。

据悉,阿里通义已开源200余个模型,全球下载量超3亿次,千问衍生模型数超10万个,已超越美国Llama,成为全球第一开源模型。

新闻深一度:千问3是怎么被训练出来的

在阿里云官网上,还揭露了千问3的训练过程,让我们对这个开源模型的诞生有了更深入了解。

预训练过程分为三个阶段。在第一阶段(S1),模型在超过30万亿个token上进行了预训练,上下文长度为4Ktoken。这一阶段为模型提供了基本的语言技能和通用知识。在第二阶段(S2),我们通过增加知识密集型数据(如STEM、编程和推理任务)的比例来改进数据集,随后模型又在额外的5万亿个token上进行了预训练。在最后阶段,我们使用高质量的长上下文数据将上下文长度扩展到32Ktoken,确保模型能够有效地处理更长的输入。

由于模型架构的改进、训练数据的增加以及更有效的训练方法,Qwen3Dense基础模型的整体性能与参数更多的Qwen2.5基础模型相当。例如,Qwen3-1.7B/4B/8B/14B/32B-Base分别与Qwen2.5-3B/7B/14B/32B/72B-Base表现相当。特别是在STEM、编码和推理等领域,Qwen3Dense基础模型的表现甚至超过了更大规模的Qwen2.5模型。对于Qwen3MoE基础模型,它们在仅使用10%激活参数的情况下达到了与Qwen2.5Dense基础模型相似的性能。这带来了训练和推理成本的显著节省。

为了开发能够同时具备思考推理和快速响应能力的混合模型,我们实施了一个四阶段的训练流程。该流程包括:(1)长思维链冷启动,(2)长思维链强化学习,(3)思维模式融合,以及(4)通用强化学习。在第一阶段,我们使用多样的的长思维链数据对模型进行了微调,涵盖了数学、代码、逻辑推理和STEM问题等多种任务和领域。这一过程旨在为模型配备基本的推理能力。第二阶段的重点是大规模强化学习,利用基于规则的奖励来增强模型的探索和钻研能力。在第三阶段,我们在一份包括长思维链数据和常用的指令微调数据的组合数据上对模型进行微调,将非思考模式整合到思考模型中。确保了推理和快速响应能力的无缝结合。最后,在第四阶段,我们在包括指令遵循、格式遵循和Agent能力等在内的20多个通用领域的任务上应用了强化学习,以进一步增强模型的通用能力并纠正不良行为。

分享到
037165901996 回顶部