关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2904人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

罗志恒:三季度经济增速为何放缓?四季度经济前景如何?

首席经济学家论坛 浏览 4204

在大陆淘金20年,眼看赚钱机会没了,香港老板套现17亿清仓离场

壹只灰鸽子 浏览 3251

日供低至23元!车市开年遇冷,车企打响“金融战”

国际金融报 浏览 2930

50+姐姐冬季要会“叠穿”,掌握这些技巧,保暖不臃肿显高级

静儿时尚达人 浏览 3268

美的空界M5空调上市,国补后2499元,还能鸿蒙互联!

IT之家 浏览 3119

那不勒斯官方:韦尔加拉左脚足底筋膜出现了撕裂伤

懂球帝 浏览 2313

“北溪”爆炸案一嫌疑人被引渡至德国受审

极目新闻 浏览 3623

格林伍德2025年联赛打进22球法甲最多,为2018年后马赛首人

懂球帝 浏览 3447

国资券商整合收官!新国盛证券承接所有业务,原主体完成工商注销

21金融圈 浏览 2900

10位院士与会 2025中国自动化大会成功举行

网易科技报道 浏览 4274

E句话| 姐有新恋情啦?

仙女事件簿 浏览 3305

历史前三?阿贾-威尔逊曾表示:讨论WNBA的GOAT 我至少得是前三

直播吧 浏览 4140

天空记者:若能在伤缺后恢复健康,梅努仍有望重返首发

懂球帝 浏览 3385

TA:维尼修斯认为自己在球队整体表现不佳的情况下被区别对待

懂球帝 浏览 3441

一线城市二手房挂牌量下降,2026年会迎来股市楼市齐涨的局面吗?

郭施亮 浏览 2588

李昊:在海外踢球时因位置问题机会有限;目前想先把中超踢好

懂球帝 浏览 3039

315风波后续来了!鹿哈取消直播被追着维权

萌神木木 浏览 2130

欧洲提交修改版和平计划 涵盖乌克兰安全保障方式

上观新闻 浏览 3619

都体:加拉塔萨雷对弗拉泰西开始犹豫,认为他防守属性不够强

懂球帝 浏览 3239

刚放行中欧班列波兰又来找事 中方接下挑战书强硬反击

文雅笔墨 浏览 40441

弗莱彻首战曼联将用四后卫,B费请缨出战!新帝星已撤回转会申请

罗米的曼联博客 浏览 3191
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1