全新突破！Falcon H1R 7B 开源大模型引领推理新潮流

JQR1

阿布扎技术创新研究院（TII）近期推出了全新的开源大型语言模型 ——Falcon H1R7B。这款模型在维持紧凑的7亿参数规模的同时，展现了行业领先的推理性能，显著挑战了 “越大越强” 的传统观念。让我们一同了解这款引人瞩目的新产品。

Falcon H1R7B 的设计与训练流程分为两个阶段。首先是 “冷启动监督微调”（SFT），这一步主要基于已有的 Falcon-H1-7B 模型，专注于在数学、编程和科学等领域进行训练。接下来是 “强化学习增强”(GRPO)，在 SFT 的基础上，通过奖励机制来优化模型，从而提升推理的逻辑性和输出的多样性。



在性能方面，Falcon H1R7B 在速度、Token 效率和准确率等多个维度进行了深入优化。其独特的 “Deep Think with Confidence”（DeepConf）推理方法，不仅生成更少的 Token，还能显著提高整体准确性。此外，该模型采用了 Transformer 与 Mamba(状态空间模型)的混合架构，使其在处理长上下文时表现更加出色，并提升了推理的吞吐率。

值得注意的是，Falcon H1R7B 在多个公开基准测试中表现非凡。比如，在数学推理方面，它在 AIME-24测试中获得了88.1% 的优异成绩，领先于许多15B 模型;在代码和代理任务的 LCB v6测试中以68.6% 的得分成为了 <8B 模型中的佼佼者;而在通用推理能力的 MMLU-Pro 和 GPQA 测试中，它的竞争力甚至超过了一些更大型的模型。



不仅如此，Falcon H1R7B 的推理吞吐量也相当可观。在常见的批量大小下，每个 GPU 的 Token 处理速度高达约1500tokens/s，几乎是部分竞争对手的两倍。即使在低算力环境下，该模型也能有效完成深度推理任务，非常适合开发者和企业进行部署。

这款开源模型的完整检查点及量化版本已在 Hugging Face 上提供，方便研究、产品开发与实验使用。Falcon H1R7B 无疑将在开源 AI 领域掀起新的浪潮。

来源：AIbase