关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1457人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

深圳这个人气指标,又爆表了!

博闻财经 浏览 1955

10月份,本田飞度就卖出去3辆,你没看错,就是3辆

凡兮说 浏览 2547

美政府部分“停摆”最早将于周二结束

国际金融报 浏览 1414

重生之《泰坦尼克号》没沉

江湖人称艾掌门 浏览 717

星纪魅族前美女副总裁,转投小米公关部

财通社 浏览 933

送别聂卫平队伍长度超200米 韩国围棋名宿前来吊唁

极目新闻 浏览 5803

郭宇欣刘萧旭太原盛典现场互动 太甜了

生性洒脱 浏览 2290

51:44共和党临时拨款法案未获推进 政府"停摆"已两周

每日经济新闻 浏览 6444

当学科边界被打破:四位顶尖科学家共议“交叉科学”的未来

封面新闻 浏览 3366

页岩油超级并购来了?Coterra考虑联姻Devon Energy,股价一度涨超10%

华尔街见闻官方 浏览 1649

汪小菲最重要的两个女人,一个爱,一个适合

半身Naked 浏览 3366

女演员被前夫指责害死公公 本人称愿接受刑事立案调查

极目新闻 浏览 26090

欧美媒体唱衰福建舰仅6成战力 赖岳谦:他们开心就好

看看新闻Knews 浏览 8593

新ES8杀到30万元内!押注纯电大三排SUV市场,李斌:不用担心蔚来不赚钱

时代周报 浏览 3476

山东99-75战胜宁波 球员评价:3人优秀,5人及格,2人低迷

篮球资讯达人 浏览 1554

古二录音被忽略的细节!秦雯闺蜜歧视妇女,业内编剧还在嫌弃观众

萌神木木 浏览 2459

粿粿、王子同游被指没边界感:会偷吃就是会偷吃

一池春水l 浏览 2458

锦州银行落幕引发渠道整合,超1600只基金上演“代销大迁徙”

券商中国 浏览 2539

高市早苗再有新动作日本准备拥有核武 中俄要早做准备

头条爆料007 浏览 44257

2025秋冬一定要拥有的5只包包,怎么搭都好看

LinkFashion 浏览 4213

4月起 光伏产品出口退税归零 千亿产业 谁在窃喜?

中国能源网 浏览 1695
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1