Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the advanced-cron-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /www/wwwroot/www.help4uu.com/wp-includes/functions.php on line 6121
腾讯发布星脉网络 2.0：大模型训练效率相比上代提升 20% | 科技云
  1. 科技云首页
  2. 手机

腾讯发布星脉网络 2.0：大模型训练效率相比上代提升 20%

山治 • • 手机 • 阅读 158
感谢IT之家网友 航空先生 的线索投递！

IT之家 7 月 2 日消息，腾讯昨日发布其自研星脉网络 2.0 版本，升级后的星脉网络支持单集群 10 万卡组网，网络通信效率比上一代提升 60%，大模型训练效率提升 20%，故障定位从天级降低至分钟级。

IT之家获悉，腾讯自研交换机从 25.6T 升级到 51.2T，容量提升一倍；自研硅光模块从 200G 升级到 400G，速率提升一倍；搭载自研算力网卡；整机通信带宽 3.2T，为业界最高。

腾讯自研全新通信协议 TiTa2.0 的部署位置从交换机转移到了网卡上，拥塞算法也从被动拥塞算法升级为主动拥塞控制算法，将星脉网络的通信效率提升 30%，让大模型的训练效率提升 10%。

腾讯全新高性能集合通信库 TCCL2.0 采用 NVLINK+NET 异构并行通信，实现数据的并行传输。Auto-Tune Network Expert 自适应算法可以根据机型、网络规模、模型算法等差异，自动调整数据包分割大小、匹配算法等参数。星脉网络通信性能提升 30%，让大模型的训练效率再提升 10%。

腾讯发布星脉网络 2.0：大模型训练效率相比上代提升 20%

▲ 数据的并行传输（腾讯云）

TiTa 与 TCCL 升级带来的效果叠加，让星脉网络的通信效率共提升 60%，大模型训练效率共提升 20%。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

文章来源于互联网:IT之家-腾讯发布星脉网络 2.0：大模型训练效率相比上代提升 20%

赞 (0)
山治山治
0 0
上一篇 2024年 7月 3日 am2:53
下一篇 2024年 7月 3日 am3:23

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

记住昵称、邮箱和网址，下次评论免输入