关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2903人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

周受资,晋升一位90后女将

华尔街见闻官方 浏览 3861

Artificial Analysis评测新鲜出炉:Kimi K2 thinking位居世界第二,开源第一

AI寒武纪 浏览 4039

预售14天订单破10万!抢先到店体验大唐:信任票比配置单更值钱

电车通 浏览 871

尚雯婕,给所有中年女性提了个醒

山野卢员外 浏览 3145

又一黑马大剧《表妹万福》来袭,宋祖儿撒娇追夫

动物奇奇怪怪 浏览 4243

王传君斩获东京影帝!怼王家卫拒绝宋丹丹,曾因没戏拍卖表卖车

萌神木木 浏览 3933

张杰院士:三步走,2045建成上海首个聚变商业电站

澎湃新闻 浏览 5087

中超3队集体垫底!亚冠12场2胜+客场不胜,博主开炮:真别玩了

奥拜尔 浏览 4056

和任正非聊一聊,会有新品牌?

道哥说车 浏览 4313

黄仁勋放豪言:到2027年Blackwell和Rubin芯片至少创收1万亿美元

华尔街见闻官方 浏览 2121

女人年纪大了怎么穿?试试:衣选长、鞋带跟,会叠穿,才优雅

静儿时尚达人 浏览 3633

图片报:格雷罗恢复训练并有机会出战霍村,莱默尔尚未参加

懂球帝 浏览 2878

关于格陵兰岛 普京表态:与俄罗斯完全无关

极目新闻 浏览 20353

一加Ace 6T宣布12月3日发布!全球首发第五代骁龙8、超8000mAh大电池

快科技 浏览 3660

路边停车累计欠费490元 车主拒缴:车被刮花没人管

封面新闻 浏览 9327

赛力斯联手字节打造"赛豆" 首款跨界车年内推出

网易汽车 浏览 14

大电池增程成风,车企在堆料自嗨?

帮宁工作室 浏览 3752

5月首发亮相奕派M8 奕派科技4月销量20537辆

网易汽车 浏览 946

高盛建议高配中国股票,4000点会是A股牛市的新起点吗?

郭施亮 浏览 3201

净利润暴增503倍!310亿“零食大王”,冲刺港股IPO

侃见财经 浏览 4272

惊天大冷!足总杯卫冕冠军水晶宫1-2遭第六级别球队麦克斯菲尔德淘汰

懂球帝 浏览 3156
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1