​腾讯混元 TurboS 技术报告全面揭秘，560B参数混合Mamba架构

JQR1

腾讯发布了混元 TurboS 技术报告，揭示了其旗舰大语言模型 TurboS 的核心创新与强大能力。

根据全球权威大模型评测平台 Chatbot Arena 的最新排名，混元 TurboS 在239个参赛模型中位列第七，成为国内仅次于 Deepseek 的顶尖模型，并在国际上仅落后于谷歌、OpenAI 及 xAI 等几家机构。



混元 TurboS 模型的架构采用了创新的 Hybrid Transformer-Mamba 结构，这种新颖的设计结合了 Mamba 架构在处理长序列上的高效性与 Transformer 架构在上下文理解上的优势，从而实现了性能与效率的平衡。该模型总共包含128层，激活参数量高达560亿，成为业界首个大规模部署的 Transformer-Mamba 专家混合模型（MoE）。通过这样的架构创新，TurboS 在国际权威评测中取得了整体高分1356。

为了进一步提升模型的能力，混元 TurboS 引入了自适应长短思维链机制，能够根据问题的复杂度自动切换响应模式。这一机制让模型在处理简单问题时能够迅速响应，而在面对复杂问题时，则会深入分析并给出高准确度的答案。此外，团队还设计了包含监督微调、自适应长短 CoT 融合等四个关键模块的后训练流程，进一步增强了模型的表现。



在预训练阶段，混元 TurboS 在16万亿 Token 的语料上进行训练，确保了模型的数据质量和多样性。其核心架构包含 Transformer、Mamba2和前馈神经网络（FFN）组件，层级构成合理，最大程度上提升了训练和推理的效率。

此次技术报告的发布，不仅展示了腾讯在大语言模型领域的技术实力，也为今后大模型的发展提供了新的思路与方向。

论文链接: https://arxiv.org/abs/2505.15431

来源：AIbase基地