比GPT-6 Luna快8倍,扩散LLM跑分也反超了

GPT-6 Luna的市场地位正面临扩散LLM的挑战?

新推出的Mercury 3模型,参数规模扩大了超过40倍,但生成速度依然保持惊人水平,每百万输出Token的定价仅为0.35美元。过去以速度见长的扩散模型,现在开始正面与主流大模型竞争。

10月19日,由斯坦福大学教授Stefano Ermon联合创立的Inception Labs发布了一份引人注目的成绩:Mercury 3在官方公布的多个基准测试中超越了GPT-6 Luna和Claude Haiku 5.5,输出速度达到每秒1068 Token,最高比GPT-6 Luna快约8倍。

实际上,初代Mercury就已经达到了每秒千Token级别的生成速度。这次真正引人关注的是,当模型规模扩大40多倍、能力显著提升后,Mercury 3依然保持了这一速度。

扩散LLM要证明的,已经从“我能跑得快”,转变为“我变大、变聪明之后,仍然能跑得快”。

扩散LLM开始与GPT、Claude比拼能力

先看Inception公布的成绩单。

在官方披露的同类对比中,Mercury 3在GPQA Diamond上获得89.23分,高于GPT-6 Luna的86.36分和Claude Haiku 5.5的84.51分。这项测试考察的是研究生水平的专业科学知识和推理能力。换成更贴近实际开发的任务,差距更加明显:SWE-Bench Atlas上,Mercury 3得分51.08,对比两款模型的33.33和32.26。指令遵循测试IFBench中,Mercury 3也取得76.84分。

也就是说,Inception这次并非用一个只能快速输出简单答案的模型,去与主流LLM比速度。它展示的是,扩散路线也能处理知识问答、复杂指令和真实软件工程任务。

再看速度:Mercury 3在NVIDIA GPU上的输出吞吐达到1068 Token/s;Inception给出的GPT-6 Luna与Haiku 5.5对应速度分别约为每秒130和240 Token。

能力和速度之外,还有两组数字值得关注。Mercury 3的上下文窗口扩展到100万Token,上一代Mercury 2.5是26万;首发期间每百万输入Token收费0.10美元、输出0.35美元,正式标价则分别为0.20和0.70美元。

参数量暴涨40多倍,扩散LLM如何保持速度优势?

要理解这一点,得先看我们熟悉的大模型是如何生成一句话的。

GPT、Claude等主流自回归语言模型,通常按从左到右的顺序,一次预测下一个Token。写出前面的内容,才能继续预测后面的内容。即便GPU擅长并行计算,这种逐步生成的链条也无法直接消除。扩散语言模型则采用了不同的生成方式。它同时预测多个位置的内容,再通过多轮迭代不断调整,最终生成完整、连贯的文本。

可以把它想象成两种写作方式:一种是一边想一边逐字落笔,另一种先铺出整段草稿,再同时修改多处内容。后者同样需要反复推敲,但每一轮都能同时推进多个位置。这种并行处理能力正是扩散语言模型实现高速生成的关键:一次前向计算可以更新一批Token,减少生成整段文本所需的串行步骤。因此,即使需要经过多轮迭代,整体生成速度仍有可能超过逐Token预测的方式。

当然,将图像扩散迁移到文字上,并没有想象中那么简单。图像中的噪声可以逐渐变成清晰的像素,语言却由一个个离散的Token组成,模型必须决定哪些位置先确定、哪些还要继续修改。一次并行得越多,生成就可能越快;但修改轮次不够,又容易让句子、代码和推理步骤相互冲突。扩散LLM真正需要解决的,是在并行程度与生成质量之间找到平衡。

早在初代Mercury的技术报告中,团队就介绍了用Transformer在多个文本位置上并行预测、从粗到细完成生成的路线。2025年发布的Mercury Coder Mini,第三方测得的速度为1109 Token/s;但那个阶段,扩散模型最让人记住的仍然是速度,复杂任务能力还不是它最硬的招牌。

之后,Mercury系列持续迭代,从通用聊天到推理模型,再到Mercury 2.5。Inception此前介绍过一系列改进方向,包括扩大训练规模、优化去噪网络、训练目标、推理算法,以及底层算子和服务引擎。

到了Mercury 3,官方给出的变化很直接:总参数量相对Mercury 1扩大40多倍,标准基准上的综合能力相对Mercury 1 mini提高约3倍,而生成速度依然维持在千Token每秒的量级。

这也让扩散LLM的规模化潜力得到了更直接的验证:随着模型规模扩大、复杂任务能力不断提升,并行生成带来的速度优势依然能够保持下来。

Agent时代,扩散LLM找到了新角色

更快的回答当然受欢迎。但在AI Agent中,快意味着另一回事:谁先把任务做完,谁才是真的快。

假设让一个浏览器Agent帮你查找几家供应商的报价,并整理成一份表格。它需要打开网页、寻找信息、判断页面是否有用、进入下一层链接、提取数据,还可能发现资料不完整,再回头搜索。整个过程中,每一次观察页面、决定动作之后,都要等待模型给出下一步判断。十几次、几十次调用叠加起来,每一步的延迟就会变成用户真正感受到的等待。

Inception这次拿出的合作案例,则进一步展示了Mercury 3在多步骤网页操作和实时交互场景中的实际表现。

浏览器Agent公司TinyFish将Mercury 3接入自己的生产级网页代理系统,在50项真实网站上的Mind2Web导航任务中与前沿模型展开测试。联合创始人Shuhao Zhang透露,Mercury 3成功完成了其中25项任务,完成率达到50%,明显高于GPT-6.1 Sol。而且,Mercury 3消耗的Token数量和执行步骤与对比模型相当,每个Token的成本却低得多。

对于需要反复观察网页、判断下一步操作的浏览器Agent来说,更快的模型响应意味着可以在更短时间内推进任务,而较低的调用成本也让高频、多轮操作变得更加经济。

另一个案例来自实时搜索公司Octen AI。它为智能眼镜等场景提供搜索能力。在其Sense API测试中,搜索环节大约只需要80毫秒,真正拖慢回答的是模型生成。换用Mercury 3后,模型生成耗时中位数降到了0.9秒,端到端响应中位数为2.2秒,在受测的高速模型中实现了最好的速度与质量平衡。对着智能眼镜提一个问题,等五秒才听到回答,与两秒左右得到回应,是两种截然不同的体验。前者更像“提交请求”,后者才开始接近自然交谈。

看到这里,FlashAttention作者Tri Dao的一条评论就很有意思了。

他在转发Mercury 3时写道,自己一直希望把一个足够聪明的“协调者/架构师”模型,与一个速度极快的“执行者”模型组合起来;扩散LLM或许正好能担任后者。

这句话提供了另一种看待大模型竞争的角度。

过去讨论新模型,总习惯问它能不能击败最聪明的模型,拿到更高的基准分数。但一个真正干活的Agent,未必需要每一步都由最昂贵、最强的模型亲自完成。

负责理解目标、拆解难题、制定计划的模型,可以把能力放在第一位;而检索信息、检查页面、提取字段、反复执行操作的模型,则更在意响应速度、可靠性和成本。前者像项目负责人,后者像随时待命的执行团队。

这也改变了“快”的衡量方式。聊天时,一秒与三秒的差别或许只是感觉是否流畅;Agent如果要连续进行二三十轮工具调用,每一步省下的时间,最终都可能变成完成整个任务所需要的时间。

在这样的分工里,Mercury 3的定位也逐渐清晰:成为Agent系统中那个既足够聪明,又能快速响应、持续执行任务的角色。

参考链接:

https://www.inceptionlabs.ai/blog/introducing-mercury-3

https://x.com/tri_dao/status/2112263206085554392

本文来自微信公众号“机器之心”(ID:almosthuman2014),作者:Neo,36氪经授权发布。

分类

  • 家庭法律
  • 刑事法律
  • 商业法律
  • 人身伤害
  • 教育法律
  • 毒品犯罪

欧博体育登录以多元化内容板块满足不同用户偏好为核心,带来高效便捷的体验。

探索体育娱乐的无限可能,

安全稳定的数字入口,为您开启流畅体验

通过欧博网址入口,一键直达平台页面,体验多元化内容板块

Instagram

欧博体育登录专注成就专业电话:+86 138 6738 1962邮箱:[email protected]成都市高新区天府大道834号