谷歌发布Transformer继任者「Titans」,突破上下文记忆瓶颈
科技
2025-01-16 16:46:57
导读 谷歌在推出影响AI行业长达8年的Transformer架构后,发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限,通过引...
谷歌在推出影响AI行业长达8年的Transformer架构后,发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限,通过引入长期神经记忆模块,在测试时实现更好的记忆功能。该架构能够将上下文窗口扩展到200万tokens,在语言建模、常识推理、基因组学和时序预测任务上表现优异。
Titans架构包含三种变体:记忆作为上下文(MAC)、记忆作为门(MAG)和记忆作为层(MAL),分别通过不同的方式将神经记忆融合到系统中。实验结果表明,Titans架构比Transformer和近年来的现代线性循环模型更有效,且在处理非常长的序列时表现更佳。此外,谷歌还详细介绍了长期神经记忆模块的训练和检索方法,以及如何并行化训练过程。
免责声明:本文由用户上传,如有侵权请联系删除!
下一篇:最后一页
猜你喜欢
- 阿里巴巴Qwen团队发布全新数学推理过程奖励模型,推动数学推理技术再次飞跃
- 基尔大学新AI工具横空出世,99%准确率精准识别假新闻
- 理想L6九个月狂销20万,力压问界M7登顶增程销冠宝座
- 微软Mojang经典沙盒游戏力作《我的世界大电影》正式宣布登陆中国内地
- 诺基亚携手三星,视频技术合作共谱家电行业新篇章
- 谷歌携手美联社,为Gemini聊天机器人注入实时信息流
- 腾讯会议重磅升级,AI小助手Pro闪亮登场
- AI加持下的奢侈智能戒指:售价1万3,值吗?
- 2900万头猪铸就的390亿IPO传奇
- 图书直播渐成风尚,如何将流量有效转化为留量?
- 抖音副总裁李亮澄清:海外IP非等同海外注册用户,已严惩万余仿冒外国账号
- 小红书美国下载量激增,过去七天环比增长超20倍,月初至今美区占比达22%
最新文章
- 谷歌发布Transformer继任者「Titans」,突破上下文记忆瓶颈
- 1月份116家上市公司慷慨实施分红计划
- 2025款腾势D9焕新上市:全面升级与价格调整
- 据传拜登政府正探讨TikTok在美国持续运营的可能性
- 《战场的赋格曲3》官方预告:1月23日重磅揭晓
- 2024年中国乘用车市场销量TOP50品牌排行榜
- 《漫威争锋》推出蜘蛛侠新皮肤,共庆《漫威蜘蛛侠2》PC版上线
- 国泰君安研报:增持建议并购重组助力券商机构业务优势升级
- Layer3宣布:成功上线并空投100万枚MNT至Mantle Yield Lab
- 上汽通用深蹲蓄势,2025年强势吹响电动化智能化反攻号角
- Apple Card成棘手难题?高盛或提前终止与苹果合作
- 《龙腾世纪》配音演员Jonathon Rees因报复前女友发布私密照遭逮捕
- 中金预测:美联储1月或暂停降息,3月降息可能性犹存
- pump.fun 24小时收入高达334万美元,再度超越以太坊佳绩
- 五菱之光EV预售倒计时:1月17日正式启幕
- 《守望先锋》国服重磅回归福利揭晓!休闲玩家或迎最大利好?
- 特斯拉上海工厂拟暂停新版Model Y部分生产线,旨在优化设备备战增产
- OKX即将推出DUCK永续合约交易及多项新功能
- TikTok或于周日全面退出美国市场,禁令危机迫在眉睫
- 《守望先锋》国服重磅回归福利揭晓!休闲玩家或迎来最大利好?
- 日产中国:在变局中寻求韧性突围的关键
- Microvisionchain步入基金会治理新纪元,国库管理权移交新火Sinohope
- 花旗2024年四季报亮点概览:证券交易创佳绩,IT投资成电话会议焦点
- 小米米家智能哑铃京东震撼开售!LED点阵屏联动米家App,仅售129元!