【CNMO科技消息】近日,在特斯拉CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后,Kimi官方账号于3月17日以幽默口吻回应:“你的火箭造得也不错!”

据CNMO了解,事件的起因是3月16日,月之暗面(Kimi)发布了一项关于大模型基础架构的研究,提出“Attention Residuals”(注意力残差)机制,对深度学习中沿用近十年的残差连接进行了重新设计。传统残差连接采用固定、均匀的累加方式,而Kimi的新方法让每一层能够选择性地关注此前各层的输出,从而提升训练效率。据Kimi官方披露,在48B参数的模型上,该机制使训练效率提升了1.25倍。

该研究迅速引起了学界和业界关注。马斯克在社交平台X上转发并评论:“Impressive work from Kimi”(Kimi这项研究干得漂亮)。随后,前OpenAI研究科学家Andrej Karpathy也发文称,该研究真正践行了“Attention is All You Need”的理念;被誉为“推理模型之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度学习2.0来了”。这些来自全球顶尖AI专家的认可,凸显了Kimi此次技术突破的分量。
华泰优配提示:文章来自网络,不代表本站观点。