业界首个!!美团颁布LongCat-2.0:总参数规模1.6万亿 全程由国产算力训练
快科技6月30日新闻,今日,美团颁布新一
2026-07-04 08:20:39 颁布
起源:游戏狗
作者:金淑敏
浏览:9529次
快科技6月30日新闻,今日,美团颁布新一代万亿参数大模型LongCat-2.0,并将对外开源。。。
据介绍,LongCat-2.0是业界首个依附国产算力实现训练、、、推理全流程的万亿参数大模型,总参数规模1.6万亿,从零起头预训练,原生支持1M超长高低文。。。
此前,该大模型的测试版本在OpenRouter上的总挪用量已跻身全球前三。。。
其中在Hermes的月挪用量位列全球第一,在Claude Code的月挪用量位列全球第二,仅次于Claude Opus 4.8。。。
LongCat官方颁发,将于近期开源Infra框架、、、推理引擎、、、模型参数等主题技术,以回馈全球开发者社区。。。
据悉,LongCat-2.0预训练数据规模超过30T tokens,覆盖中文、、、英文、、、多说话和代码等多类数据。。。
面对万卡级训练中的硬件故障、、、通讯异!、、、显存压力与数值颠簸,LongCat团队从不变性、、、正确性和效能三方面攻克国产算力训练难题。。。
在不变性上,通过HCCL异常处置、、、弹性扩缩卡和自动故障复原,将月均日故障率降低70%以上。。。
在正确性上,通过自研设计确定性算子、、、Bitwise一致性验证和参数检测,保险训练了局的靠得住,同时基于实际提升关键??橥扑憔、、、优化Reduce逻辑。。。
在效能上,通过流水线调度、、、显存优化和算子级控核,训练MFU提升1.5倍。。。
最终,LongCat实现稳态日吞吐超过1T tokens/day,实现万亿参数MoE模型在国产算力上的不变训练。。。
昨天的雨势之强,令多地降水纪录被突破。。。其中在北方,北京南郊观象台累计降水量达67.8毫米,刷新最早暴雨日纪录,并突破5月中旬单日降水量纪录;;克拉玛依累计降水量80.4毫米,突破本地5月单日降水量纪录。。。在南方,湖北荆州累计降水量达268.7毫米,为本地观测史初次出现特大暴雨。。。
责任编纂:吴佳美 校对:黄俊廷