1月1日消息,DeepSeek赶在新年前发送了“贺礼”,在新论文中提出了名为mHC(流形约束超连接)的新网络架构,旨在解决传统架构在大规模模型训练中的不稳定性问题,这一研究或将为下一代基础架构的演进指明新方向。
![]()
新论文名为《mHC :Manifold-Constrained Hyper-Connections》(《mHC:流形约束超连接 》),DeepSeek创始人兼CEO梁文锋出现在了合著名单之中,而解振达(Zhenda Xie)、韦毅轩(Yixuan Wei)、曹焕琪(Huanqi Cao)则是核心贡献者。
近年来,以超连接(HC)为代表的研究拓展了过去十年确立的通用残差连接范式(深度神经网络的经典连接范式),靠拓宽神经网络的“信息传输通道”、增加通道间的连接,让模型性能变好。但这种多样化也导致了大规模训练中的不稳定性、可扩展性受限及内存访问开销大的问题。
因此,DeepSeek这篇论文针对超连接架构这些问题,提出兼顾性能与效率的改进框架,即mHC 架构,这类似于给超连接的“信息通道”加了一套“交通规则”,在保留性能优势的同时,又恢复了信息原样传递的特性,让模型训练更稳定、更容易做大,从而推动大模型底层架构的工业化落地。
这一论文整体较为技术,但通俗来讲,如果将AI模型想象成一个很长的“计算链条”,传统计算链条的问题在于,传递信息时是一条窄窄的管道,信息量大了就会“堵车”。后来的方法是将管道加宽(超连接),信息流更多,但水流太猛有时候会把水管冲坏。DeepSeek提出的mHC相当于给水管加了“智能调节阀”,能确保水流的稳定,运行的时候更省资源。
在论文中,DeepSeek表示,mHC为未来研究开辟了多个前景广阔的路径。研究团队希望mHC能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC或将有助于突破当前限制,并可能为下一代基础架构的演进指明新方向。
从行业意义上来看,mHC或许能让企业在训练更大规模的基础模型时,减少硬件投入、缩短训练周期。比如算力有限的中小AI企业,也能尝试开发更复杂的大模型,降低了大模型研发的门槛。此外,训练稳定性和可扩展性的提升,能让大模型在更复杂的场景落地,比如需要超大规模参数的多模态模型、工业级的智能决策系统。
有行业人士评价认为,DeepSeek这一研究是底层创新,这次创新的架构看向的是Transformer最基础的问题,结合此前的积累,他预测DeepSeek 有望在V4版本中做出重大的更新。
自2025年初引发广泛关注以来,这一年DeepSeek虽未正式推出R2或V4等重大版本,但在模型迭代与开源上持续发力:仅12月就同步推出了DeepSeek-V3.2与V3.2-Special,11月底也开源了数学推理模型DeepSeek-Math-V2,成为目前首个达到国际奥数金牌水平并开放使用的数学模型。
万众期待的GPT-5重磅登场!这距离GPT-4的发布已过去了两年半。当地时间8月7日,OpenAI发布了新的旗舰AI模型GPT-5,OpenAI首席执行官山姆·奥特曼现身发布会现场。目前,该模...
2 “淘宝第一个程序员”离职消息称阿里巴巴集团前合伙人蔡景现已离职,其阿里内外平台状态显示为“退隐江湖”。蔡景现花名“多隆”, 是淘宝初创团队的三个开发工程师之一,被称为淘...
3 AI 3D大模型Tripo 3.0发布,参数量达200亿8月22日消息,日前,VAST旗下AI 3D大模型发布Tripo 3.0版本。据悉,在AI 3D模型算法层面,VAST先后推出Tripo1.0至Tripo2.5等数十亿参数的3D大模型,而Tripo3.0的参数级别将直接拉升...
4 网传“退款不到账”“流程8个月”,美团回应近日,美团平台历史订单疑似“退款不到账”问题登上微博热搜榜,据红星新闻报道称,有用户“退款流程长达8个月”。对此,美团最新回应称,关于上述报道中所涉团...
5 9月1日实施!电动车新规来了注意!9月1日起“小电驴”新规正式实施所有新生产的电动自行车都必须符合新规要求为贯彻落实国务院电动自行车安全隐患全链条整治行动部署,提升电动自行车产品本质...
6 让好内容有确定性,快手给出了答案8月末的成都,一场大雨将连续多日的暑气一扫而空。然而,在麓客岛这个以松弛感、年轻化著称的开放社区里,火热氛围依旧在延续,潘长江、大冰、安万等近千位来自快手平台的创作者齐...
7 张朝阳现身颐和园游泳训练 备战汕头南澳岛横渡挑战9月2日消息,昨日,搜狐创始人、董事局主席兼首席执行官张朝阳现身北京颐和园,完成了当日的游泳训练,为9月14日横渡广东汕头南澳岛积极备战。尽管当天颐和园外河道水流较急,张朝阳...
8 那些自愿把脸卖给AI的人,已经后悔了在不知情的情况下,你的脸出现在色情网站,又或者被人拿去搞诈骗,可能你下一秒就要报警了。但如果,有人主动找上门来,说要花一笔钱买你这张脸呢?Scott是一名外国的十八线小演员,最近...
9 初探苹果 iOS 26 电池设置,全面提升 iPhone 续航和耗电透明度9 月 6 日消息,科技媒体 MacRumors 昨日(9 月 5 日)发布博文,报道称在 iOS 26 系统中,苹果推出 5 项关键的电池优化功能,全面提升 iPhone 的续航表现与用电管理透明度。电池设置...
10 安卓桌面Nova Launcher创始人Kevin Barry离职,开源计划后路不明9 月 8 日消息,据科技媒体 Android Authority 今天报道,安卓第三方桌面 Nova Launcher 创始人兼原始开发者 Kevin Barry 上周末(9 月 6 日)宣布,他已经离开 Branch 公司,不再参与...
备案号:琼ICP备20001864号-1 Copyright © 2020-2021 海南金游汇电子竞技有限公司 版权所有