关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2905人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

成败AI:谷歌市值超越苹果

北京商报 浏览 3102

最便宜GLS 2026款奔驰GLS经典版售96.8万

网易汽车 浏览 3477

由内而外大变化 第四代CS55PLUS上市限时优惠7.89万起

网易汽车 浏览 4862

特朗普:将取消一些制裁 以平抑国际油价

环球网资讯 浏览 2307

沙特官员向德黑兰承诺:不会向美军开放领空

红星新闻 浏览 8618

秦昊带9岁女游国外,米饭百元自叹国内物价廉

松林侃世界 浏览 4074

智元推出多场景“六边形战士”精灵G2,首发前已获数亿元订单

文汇报 浏览 4248

澳足协批准米兰来战,亚足联

体坛周报 浏览 4107

上市后要“去创始人化”?林清轩孙来春:企业要进入“战略利润”时代

中国商报 浏览 3181

切费林:我认为球员在赛季结束后,至少应该有一个月假期

懂球帝 浏览 3918

科长,我啥时候才能换电脑啊?

识局 浏览 3079

一张图理清:美国抓捕委内瑞拉总统马杜罗始末

看看新闻Knews 浏览 3220

以军称袭击黎巴嫩真主党多个军事目标

极目新闻 浏览 3566

护士上门采样、公立医院检测京东到家快检推出新服务缓解流感季就医难题

上观新闻 浏览 3694

浙江大学最新研究:让AI像人类一样"转头看"来回答问题

科技行者 浏览 3190

朱光耀:中美AI实力对比,中国具备三项优势

上观新闻 浏览 3382

近7场1胜6负,河床近期战绩非常糟糕

懂球帝 浏览 4206

纪凌尘与韩国女友泰国度假,两人相恋5年

明星私服穿搭daily 浏览 2468

绿色+棕色,今年秋天最美配色!

LinkFashion 浏览 6233

"暴躁十亿姐"被封号:自称润田创始人妻子 老公4婚5娃

极目新闻 浏览 9396

比亚迪元PLUS迎来史诗级升级,续航或超650km!

刘哥谈体育 浏览 3958
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1