半导体

第六届(2018)中国FPGA产业发展论坛 | 微软亚洲研究院异构计算组副研究员张宸:微软神经网络切割法可使得加速作用超线性

作者:顾鸿儒来源:中国电子报、电子信息产业网发布时间:2018-07-25 19:22我要评论

7月25日,由中国电子报与深圳投资推广署共同举办的“第六届(2018)中国FPGA产业发展论坛”在深圳召开。

作为四大通用集成电路芯片之一,FPGA(现场可编程门阵列)的重要性与CPU、存储器、DSP齐平。特别是在云计算、大数据、人工智能、工业互联网等技术成为电子信息产业新热点之际,FPGA在这些领域之中都发挥着不可替代的作用。中国既是FPGA的重要应用市场,也在FPGA产业上具有一定的基础。近年来,中国厂商在国际FPGA产业生态中开始拥有着相应地位。国家在扶持CPU、存储器等集成电路产业之后,提前布局大数据、云计算产业,推动FPGA的发展也是箭在弦上。

张宸表示,考虑到FPGA的发展现状、未来趋势以及中国的产业发展状况,微软根据多年的经验,总结出一些创新点与大家分享。首先,随着摩尔定律渐渐的进入暮年,不管是功耗还是频率,或是片上的计算资源都受到了很大的挑战。但是,我们的应用需求却不断的增加。因此,如何才能进一步扩展数据中心的计算能力和规模成为微软的思考重点。

众所周知,微软在2012年底就开始了FPGA方面的探讨和研发。目前为止,微软已经在数据中心部署了25万台FPGA。在互联网公司中,微软是部署FPGA量最大的一家公司,也是投入最多的一家公司。“为什么微软会选择FPGA而不是选择其他的器件呢?”张宸表示,首先要从人工智能或者说新的机器学习应用开始说起。机器学习的成功全部依赖于它巨大的模型和多层的神经网络。这样的神经网络需要几十亿,甚至几百亿的运算,因此需要极低的延迟,这就意味着在线上实时计算的能力要达到每秒万亿次至几百万亿次的运算能力。而FPGA高效、低延迟、低开销和规模化等优点完全迎合上面所有需求。

除此之外,FPGA非常好的可重构性也是原因之一。张宸表示,可重构性可以在同样的数据中心部署同样的硬件资源。“在实际使用的时候,可以重新配置成不同的硬件电路,这样可以提升规模化,同时可以保护我们的投资。”张宸说。

目前,市场上的FPGA需要通过PCle访问CPU才能够连接到计算机网络。“最早期神经网络的加速也是和FPGA的集成方式有关。把神经网络,或者说人工智能的模型放在FPGA的私有内存中,但是这样的实现方式带来了一些问题,网络带宽需求增大,而FPGA的带宽是非常有限的。除此之外,FPGA在神经网络的计算和种类非常多,因此其加速比受到非常大的影响。针对这些问题,微软提出了分布式FPGA的架构,解决了CPU和网络的连接关系。”张宸说。

微软除了提出分布式FPGA架构,还对计算机网络进行了优化。张宸介绍,目前微软的计算机网络只需要4毫秒以内,就可以传输完一个机架上所有FPGA。“在这样的架构支持下,FPGA在神经网络上实现了非常新颖的方式,也就是持久化。这种方式把神经网络切割成很多的子图,这些子图在不同的FPGA上运行。”张宸说。

这种解决方案,对神经网络的加速效果是超线性的。张宸表示,神经网络被切割到多块的FPGA上,因此FPGA不需要访问本地内存,节省了很多缓存的带宽。“在这种情况下,会起到超线性的效果。”张宸说。

而对于人工智能,张宸表示,FPGA加速器不仅仅需要通过硬件的角度来分析计算性能,同时还要充分利用FPGA的可通过性。“我们希望即使是在同一个场景下的人工智能,也可以有不同的运行参数。因为我们希望节省FPGA的重构时间,通过软件定义硬件运行方式,也就是利用我们的软件可定义的神经网络加速器,达到比较好的效果。”张宸说。


责任编辑:顾鸿儒

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

中国超高清视频(4K)产业发展大会

3月29日,中国超高清视频(4K)产业发展大会在广州市召开。大会由工业和信息化部、国家广播电视总局、广东省人民政府主办,广东省经济和信息化委员会、广东省新闻出版广电局、广东省通信管理局、广州市人民政府、中...

工业互联网平台建设与推广专栏

当前,全球工业互联网正处在格局未定的关键期、规模化扩张的窗口期、抢占主导权的机遇期。作为工业互联网三大要素,工业互联网平台是全要素连接的枢纽,是工业资源配置的核心,正成为领军企业竞争的新赛道、产业布局...

聚焦2018年全国两会

3月5日,第十三届全国人民代表大会第一次会议在人民大会堂开幕。会后,工信部部长苗圩在人民大会堂两会“部长通道”回答记者提问时表示,工信部通过调查发现,广大手机客户对手机流量区分本地流量和全国流量这种计...

第六届中国电子信息博览会开幕式暨数字经济前沿论坛

本次论坛主题是“智领新时代 慧享新生活”,将邀请政府行业主管部门、国内外著名专家学者、企业家发表主题演讲、对话或专题交流,深入探讨深化创新驱动战略、实施“中国制...

必看 | 2017年成就平板显示产业的十大事件

2017年1月22日,由广东聚华印刷显示技术有限公司承建的广东省印刷及柔性显示创新中心成立。该中心以建设G4.5印刷OLED研发公共开发平台及印刷显示产业园为基...

4G高端访谈:Red Bend中国技术与新业务总监殷高生

其实我们Red Bend是一家典型的技术公司,是基于公司创始人他的很多专利算法专利,所以我们在手机软件管理里面我们提供差分升级对软件版本进行升级,传统方式进行整...

友情链接
关于我们 | 联系我们
电子信息产业网LOGO