关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2871人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

李小冉这种人最精了!

娱乐圈笔娱君 浏览 1259

猪肉消费大变革!爱尔兰猪肉抢占新赛道

餐饮老板内参 浏览 3224

酷态科首款户外电源亮相,还有充电宝充电器二合一产品

IT之家 浏览 4198

"荒野求生"48万元奖金被平分 选手:这点钱不够盖房子

极目新闻 浏览 9521

冬天别总只穿“羽绒服”,试试这些日常穿搭,简单舒适显身材

静儿时尚达人 浏览 3512

降温了!羽绒服这样穿显瘦又时髦

LinkFashion 浏览 3016

雪花丨诗一首

正经社 浏览 3364

界外球都判错!西亚昏哨8次不利判罚气炸U23国足众将,王钰栋质问

我爱英超 浏览 2977

哥大新方法:频率指纹揭示AI数学思维盲点

科技行者 浏览 4356

乌方呼吁美国对卡德罗夫"采取某种行动" 卡德罗夫发声

环球网资讯 浏览 3070

梦回2001!美股软件板块3天暴涨15%,特朗普“吹票”带火IBM

第一财经资讯 浏览 10

空客天津第二总装线投产,高端航空制造产业集群成型

华夏时报 浏览 4048

北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

篮球资讯达人 浏览 3975

美媒无法理解:油价这么高 进口最多的中国反而更滋润

书纪文谭 浏览 116657

网友过完春节返程 "一辆车就把外婆的菜园打包了"

极目新闻 浏览 18839

纯电续航175公里,吉利银河A7长续航版申报

IT之家 浏览 3111

美媒:未与以及时协商 内塔尼亚胡对特朗普感到愤怒

环球网资讯 浏览 57702

稳了,“毁容式”出演县长的胡歌,已经走上了演员的“上坡路”

娱乐圈笔娱君 浏览 2866

保壳悬了?*ST赛隆预计2025年营收猛增,审计机构却上任不足半月“闪辞”

时代周报 浏览 2970

支付宝旗下两家经营主体完成更名,支付宝APP名字不变

澎湃新闻 浏览 4899

2025年净利至少增超78%!减肥药价格战凶猛,甘李药业:相关产品未上市,价格策略待定

时代周报 浏览 2986
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1