昆仑万维推出 Skywork

内容摘要IT之家 4 月 13 日消息,昆仑万维今日发文宣布,天工团队在首款中文逻辑推理大模型 Skywork-o1 基础上迭代优化,推出了全新升级的 Skywork-OR1(Open Reasoner 1) 系列模型。据介绍,该系列模型在同等参数

IT之家 4 月 13 日消息,昆仑万维今日发文宣布,天工团队在首款中文逻辑推理大模型 Skywork-o1 基础上迭代优化,推出了全新升级的 Skywork-OR1(Open Reasoner 1) 系列模型。

据介绍,该系列模型在同等参数规模下实现了业界领先推理性能,进一步突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。同时,Skywork-OR1 将全面开放、免费使用,以完全开源的形式回馈开发者社区。

此次开源涵盖三款高性能模型,包括:

Skywork-OR1-Math-7B:聚焦数学领域的专项模型,同时也具有较强的代码能力。

Skywork-OR1-7B-Preview:融合数学与代码能力、兼具通用性与专业性的通用模型。

Skywork-OR1-32B-Preview:面向更高复杂度任务、具备更强推理能力的旗舰版本。

昆仑万维官方表示,此次发布的 Skywork-OR1 系列采用业界最高透明度的开源策略:全面开源模型权重、训练数据集和完整训练代码,所有资源均已上传至 GitHub 和 Huggingface 平台。配套的技术博客已发布于 Notion 平台,详细阐述了数据处理流程、训练方法和关键技术发现,为社区提供了完全可复现的实践参考。

IT之家从昆仑万维官方获悉,目前 Skywork-OR1-7B 和 Skywork-OR1-32B 的能力还在持续提升,在两周内还会发布两个模型的正式版本,同时也会推出更为系统详尽的技术报告,进一步分享其在推理模型训练中的经验与洞察。

Skywork-OR1 系列开源地址:

昆仑万维天工团队更多开源项目:

在评测方面,Skywork-OR1 系列模型引入了 avg@k 作为核心评估指标,用于衡量模型在进行 k 次尝试时成功解决问题的平均表现。相较于传统的 pass@k 指标仅关注是否“至少一次成功”,avg@k 能更细致地捕捉模型在多轮生成过程中的稳定性与整体推理能力,从而更全面反映其真实性能水平与实用价值。

在数学推理任务中:

通用模型 Skywork-OR1-7B-Preview 和 Skywork-OR1-32B-Preview 在 AIME24 与 AIME25 数据集上均实现了同参数规模下的最优表现,展现出强大的数学推理能力。

针对数学场景深度优化的专项模型 Skywork-OR1-Math-7B 更是在 AIME24 和 AIME25 上分别取得 69.8 与 52.3 的高分,远超当前主流 7B 级别模型,充分验证了其在高阶数学推理任务中的专业优势。

Skywork-OR1-32B-Preview 在所有 benchmark 上均实现了对 QwQ-32B 的超越,并在更难的 AIME25 上基本与 R1 持平。

在竞赛编程任务中:

通用模型 Skywork-OR1-7B-Preview 与 Skywork-OR1-32B-Preview 在 LiveCodeBench 数据集上均取得了同等参数规模下的最优性能。

Skywork-OR1-32B-Preview 表现尤为突出,其代码生成与问题求解能力已接近 DeepSeek-R1(参数规模高达 671B),在大幅压缩模型体量的同时实现了卓越的性价比,充分展现出天工团队训练策略的先进性。

其中 Skywork-OR1-Math-7B 表现尤为亮眼,作为一个专注于数学推理能力的 7B 参数模型,通过多阶段 GRPO 训练在复杂数学问题上实现了卓越表现,同时在代码任务上也有较强的泛化能力。下图是该模型在 AIME24 上的训练准确率曲线,清晰呈现了多阶段训练过程中性能的稳定提升轨迹。

Skywork-OR1-Math-7B 最终模型在 AIME24 和 AIME24 上分别达到 69.8% 和 52.3%,超越了 OpenAI-o3-mini (low),达到了当前尺寸 SOTA 性能。值得注意的是,尽管该模型训练过程中未专门针对代码能力进行优化,但在代码评测基准上 Livecodebench 从 37.6% 提升到 43.6%,相比基线模型的显著提升,这也表明我们的训练方法具有较好的领域泛化性。

 
举报 收藏 打赏 评论 0
24小时热闻
今日推荐
浙ICP备19001410号-1