DeepSeek发布最新NSA技术论文!创始人梁文锋参与引人注目

近日,DeepSeek在海外社交平台发布了一篇纯技术论文报告,其主要内容是关于NSA(即Natively Sparse Attention,原生稀疏注意力)。
与此同时,在论文署名中,第一作者袁景阳是在DeepSeek实习期间完成的这项研究。让人感到惊喜和意外的是,据论文署名排名,DeepSeek创始人梁文锋现身论文著作者之中,在作者排名中位列倒数第二。
根据论文摘要,DeepSeek团队认为,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。
据了解,NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。
同时,NSA通过针对现代硬件的优化设计,在提高推理速度的同时、降低预训练成本,而不会牺牲性能。
它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。
DeepSeek团队表示,稀疏注意力为提高效率同时保持模型能力,提供了一个有前景的方向。
公开资料显示,NSA(即Natively Sparse Attention,原生稀疏注意力)是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。
它专为长文本训练与推理设计,能够利用动态分层稀疏策略等方法,通过针对现代硬件的优化设计,显著优化传统AI模型在训练和推理过程中的表现。
-
同程旅行推出“AI+实时预订”服务,首批用户今日可体验
作为首家接入DeepSeek大模型的OTA平台,同程旅行整合了覆盖数亿用户的出行数据、全品类文旅资源库及20余个智慧城市合作经验。据“程心”项目负责人介绍,该模型通过逻辑推理能力将模糊需求转化为可执行
-
腾讯元宝一举超越豆包 仅次于DeepSeek!
今日,在竞争激烈的苹果应用商店免费APP下载排行榜中,腾讯元宝表现亮眼,一举超越豆包,成功攀升至中国区榜单的第二位,而DeepSeek则继续稳居榜首。此前2月13日,腾讯元宝迎来了一次意义重大的更新。
-
QQ浏览器宣布接入DeepSeek-R1满血版:支持深度思考、联网搜索
日前,QQ浏览器宣布正式接入DeepSeek-R1模型满血版,支持深度思考、联网搜索、多轮对话、历史记录回溯。在QQ浏览器手机或电脑端的搜狗搜索(或全网搜索)模式下搜索“DeepSeek”,或点击手机
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- SiteOneCrawler一款简单易用、功能强大的网站分析工具
- PHPMailer免费开源的PHP邮件发送库
- m3u8d: 不依赖ffmpeg的跨平台m3u8视频下载与格式转换工具
- 数智亚太峰会开幕,共赢亚太数智化机遇
- 二进制系列之Pwn篇-组合购买更有性价比
- 京东“百亿补贴”提前20小时上线,电商价格战开打; iPhone 15 Pro玻璃面板泄露;凹语言 0.5.0发布|极客头条
- 乔布斯离开后的苹果 | 历史上的今天
- CSO说安全 | 沈嗣贤 :信创环境下的系统异构与持续免疫防护实践
- 万物安全品牌全新升级,传递品牌新愿景
- 腾讯59人被反舞弊调查处理;致全国断网超1小时,韩国电信正式道歉;微软 Edge 95发布|极客头条
- 网络尖刀十周年主题曲正式发布。
- Rapid SSL证书介绍 和DigiCert是什么关系?