首页 > 其他 > 斯坦福团队仅用50美元打造顶尖推理模型s1,科技界如何应对?

斯坦福团队仅用50美元打造顶尖推理模型s1,科技界如何应对?

2025-02-06 178

人工智能领域近期迎来了一项重大突破,斯坦福大学与华盛顿大学的科研团队携手,以不到50美元(按当前汇率计算约为364元人民币)的云计算成本,成功研发出一款名为s1的人工智能模型,该模型在推理能力上表现出色。

s1模型在数学与编程能力测试中,展现出了与业界顶尖推理模型,如OpenAI的o1及DeepSeek的r1相匹敌的实力。更令人瞩目的是,s1模型及其训练所用的全部数据与代码,均已在GitHub平台上公开,供全球开发者免费获取、学习与使用。

斯坦福团队仅用50美元打造顶尖推理模型s1,科技界如何应对?

据悉,s1团队采用了先进的“蒸馏”技术来构建这一模型。该技术通过让模型模仿并学习另一个模型的答案,从而提炼出强大的推理能力。具体而言,s1是从谷歌的推理模型Gemini 2.0 Flash Thinking Experimental中蒸馏而来。值得注意的是,加州大学伯克利分校的研究人员上个月也使用了相同的蒸馏方法,但成本高达约450美元。

s1模型的问世,无疑引发了业界对于人工智能模型商品化的深入讨论。若能够以如此低廉的成本复制出价值昂贵的模型,大型科技公司的竞争优势将面临严峻挑战。这一新情况给整个行业带来了新的思考与反思。

面对这一竞争态势,大型人工智能实验室表达了强烈的不满。例如,OpenAI此前就曾对DeepSeek不当获取其API数据用于模型蒸馏的行为提出指责。而此次s1的推出,更是加剧了这一领域的竞争与争议。

s1团队的研究人员表示,他们一直致力于寻找实现卓越推理性能和“测试时扩展”的最简洁途径。这些正是OpenAI的o1模型所取得的一些关键性进展。s1的论文指出,通过监督微调(SFT)的方法,可以利用较小的数据集来蒸馏推理模型。在SFT中,模型被明确指示在数据集中模仿特定行为,这种方法比DeepSeek用于训练R1模型的大规模强化学习方法更具成本效益。

虽然谷歌通过其Google AI Studio平台免费提供了Gemini 2.0 Flash Thinking Experimental模型的访问权限,但设有使用限制,并明确禁止对模型进行逆向工程以开发竞争服务。然而,s1团队仍巧妙地利用了这一资源。他们基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费模型,精心策划了一个包含1000个问题及其答案的数据集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental为每个答案提供的“思考”过程。在16个Nvidia H100 GPU的支持下,s1的训练耗时不到30分钟,成本仅为约20美元。

更为出色的是,研究人员还为s1设计了一个独特的自我检查机制,让其能够在工作过程中延长“思考”时间。他们让s1在推理过程中“等待”,这一简单的添加,有助于模型获得更为准确的答案。


湘ICP备19005331号-4copyright?2018-2025

guofenkong.com 版权所有

果粉控是专业苹果设备信息查询平台
提供最新的IOS系统固件下载
相关APP应用及游戏下载,绿色无毒,下载速度快。

联系邮箱:guofenkong@163.com