百度大规模部署Mellanox 100G以太网 推动AI战略落地

日期:2017-11-3来源:TechTarget中国

Mellanox   百度   RDMA   以太网   

【TechTarget中国原创】

网络提供商Mellanox日前宣布互联网搜索巨头百度公司现已采用Mellanox端到端RDMA以太网互连解决方案为其打造全球顶尖的AI平台。在全球计算机系统领域的顶级会议——第26届操作系统原理大会(SOSP’17)上,百度提交了关于 “高性能RDMA协议栈关键技术” 的Poster。该Poster展示通过建立一种类Socket的RDMA通信库,可将现有业务无缝迁移到高性能RDMA协议栈。百度是国内第一家大规模部署Mellanox 100G RDMA (支持RoCE v2) 以太网网络的企业,Mellanox与百度精诚合作,引领了网络技术的快速发展。

随着人工智能和5G网络的兴起,“唤醒万物,万物互联”的时代已经来临。在人工智能领域,计算量需求的爆发式增长无疑对网络提出了更苛刻的要求。百度AI算法具有高流量突发的网络特征,而且对网络的时延、带宽以及吞吐量的需求也很高。百度类Socket通信库底层采用Mellanox 100G RDMA以太网,使得百度AI集群的训练速度获得了大幅度的提升,AI训练参数的同步时间也进一步缩短。

作为高性能互连网络的核心组件,基于RDMA技术的Mellanox以太网解决方案在百度HPC集群和高性能存储集群中也发挥了关键作用。百度云旗下的块存储服务——云磁盘(CDS)采用NVMe介质,其读写时延已低于传统TCP网络的通信时延,网络因此成为了最大的瓶颈。结合25G RDMA以太网解决方案,百度对其底层的Baidu RPC(brpc)进行了改造。测试结果表明,改造后brpc的延迟可降低20% - 60%,QPS(每秒查询率)可提升40% - 80%。相应的,云磁盘(CDS)的读写时延可降低10%-40%。

“无论是传统的HPC应用还是新兴的人工智能平台,都离不开高性能RDMA网络的支持”,Mellanox公司亚太及中国区市场开发高级总监刘通表示。“我们很荣幸与百度公司合作,为业界领先的AI开放生态架构提供支持,共同构建更高效的网络协议堆栈,推动网络革新,共同引领100G RDMA以太网大规模部署,打造AI平台的网络新引擎。”

目前, 百度人工智能研究成果已全面应用于百度产品, 让数亿网民从中受益; 同时, 百度还将语音、图像、机器翻译等难度高、投入大的领先技术向业界开放, 以降低大众创业、万众创新的门槛, 进一步释放创业创新活力。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

以太网>更多

相关推荐

技术手册>更多

  • IT职业及网络认证指导手册

    随着经济的衰退, 有抱负的IT网络人员以及经验老道的职场人士开始重新审视就业市场。那么在这种经济下滑的形势下如何进行IT职业规划呢?网络认证能保证IT职业生涯吗?网络认证有什么步骤可遵循吗?各种不同认证之间有什么区别呢?哪种认证是最适合你的呢?本文将为大家一一介绍。

  • IPv6迁移攻略

    从2003年开始IPv6过渡就一直被人们提及,如今,亚洲地区IPv4地址已经消耗殆尽,但你准备好向IPv6迁移了么?本技术手册将为你详细介绍IPv6的迁移知识。

  • WAN优化控制器使用教程

    对于广域网(WAN)管理人员来说,确保应用交付的可用性十分重要,IT机构优化应用性能的一个主要方法就是通过部署WAN优化控制器(WOC)。

  • 使用脚本管理Windows网络(更新版)

    “授人以鱼,不如授人以渔。”的确如此。而在忙碌的IT世界里,这也适用于脚本化管理:“给人一个有用的脚本,不如教他自己写脚本。”

TechTarget

最新资源
  • 安全
  • 存储
  • CIO
  • 虚拟化
  • 服务器
  • 数据中心