​字节跳动发布全新开源长文本处理模型 Seed-OSS-36B

JQR1

近日，字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。这一新模型专注于高级推理和开发者友好性，其最大特点是支持长达512，000个 tokens 的输入文本处理，远超美国科技公司如 OpenAI 和 Anthropic 的产品。



Seed-OSS-36B 系列包括三个主要变体:Seed-OSS-36B-Base（含合成数据）、Seed-OSS-36B-Base(不含合成数据)和 Seed-OSS-36B-Instruct。合成数据版本在标准基准测试中表现更为出色，适合一般用途，而不含合成数据的版本则为研究提供了一个更加纯粹的基础。Seed-OSS-36B-Instruct 则专注于任务执行和指令跟随，经过后训练以优化表现。

所有模型均采用 Apache-2.0许可协议，意味着研究人员和开发者可以免费使用、修改和重新分发这些模型，不需支付字节跳动的许可费用。这标志着中国公司在开放源代码模型领域的又一次重要进展，同时也为国际应用提供了更多可能性。

Seed-OSS-36B 的设计和核心特征包括36亿个参数、64层架构和155，000个 tokens 的词汇量。该模型的长文本处理能力和推理预算设置，能够让开发者根据任务复杂性调整模型的推理深度。此外，该模型在多个基准测试中展现了优异的性能，例如，在数学和编程任务上取得了业界领先的成绩。

Seed 团队还特别关注模型的可访问性，用户可以通过 Hugging Face Transformers 进行部署，并支持4位和8位的量化格式以减少内存需求。此外，团队提供了推理、提示自定义和工具集成的脚本，进一步降低了小团队的操作门槛。

通过提供高性能和灵活部署的开放模型，字节跳动的 Seed 团队为企业、研究人员和开发者带来了新的选择。

huggingface:https://huggingface.co/collectio ... 9f4201e788db05b5dcd

来源：AIbase基地