极速10分快3怎么玩黄仁勋对人工智能的6个总结:GPU怎样催化AI计算 | GTC China 2016

  • 时间:
  • 浏览:96

编者按:雷锋网(公众号:雷锋网)2016年9月13日消息,NVIDIA在北京举办了GPU技术大会(GPU Tech Conference),这也是GTC第一次在国内举办。在这次大会上,NVIDIA发布了Tesla P4、P40深度图学习芯片,此外黄仁勋也在北京与数以万计的AI、游戏行业的开发者们分享了他对GPU和未来计算的认知。以下内容是根据黄仁勋在GTC China 2016上的演讲实录埋点。

一、4极速10分快3怎么玩年后后,AlexNet第一次带来了深度图学习的爆发

2012年有一个多多年轻的研究员叫Alex Kr极速10分快3怎么玩izhevsky。在多伦多大学AI实验室,他设极速10分快3怎么玩计了有一个多多还才能学习的软件,一种软件靠被委托人就能进行视觉识别。深度图学习一种后后后后发展了一段时间,后后有20年。

Alex所设计的一种网络,它有一层一层的神经网络,包括卷积神经网络、激发层、输入和输出,还才能进行区分。可是我 有一个多多神经网络还才能自学识别影像后后是规律。深度图神经网络所带来的结果是它会非常有效,会超出你的想象,后后它进行训练才能 的计算资源超过了现代计算机的能力,它才能 哪有几个月的时间去训练有一个多多网络才能真正地识别图像。

Alex当时的看法是,有一个多多多叫做GPU的新型除理器,通过一种叫CUDA的计算模式,还才能适极速10分快3怎么玩用于并行计算,用于非常密集的训练。2012年他当时设计了叫Alex的网络,提交给了有一个多多大规模计算视觉识别大赛,是有一个多多全球的竞赛,后后赢得了一种大赛。

AlexNet战胜了所有由其他计算视觉专家所开发的算法。Alex当时只用有一个多多NVIDIA GTX580,在通过数据训练了几天后,AlexNet的结果和质量引起关注。所有搞计算视觉的科学家,所有的AI科学家都非常关注。在2012年,Alex Krizhevsky启动了计算机深度图学习的基础,这是现代AI的有一个多多大爆炸。他的工作和成果在全世界引起了很大反响。

我相信那个时刻会被记住,后后它我我觉得改变了世界。后后有所以研究刚开始围绕深度图学习进行。2012年斯坦福大学的吴教授(吴恩达)和每个人 开发了有一个多多非常大规模的GPU配置用于深度图学习的训练,加快速度在三年后后每一年后会 有新的网络出来,才能不断地战胜其他方案获得更好的记录。

二、声音和视觉输入铺垫了构造AI世界的基础

到了2015年,谷歌和微软都实现了人类般的视觉识别能力。它是由软件写就的,在GPU上经过训练还才能实现比人类更高的视觉识别能力。2015年百度也宣告每个人 的语音识别达到了超越人类的水平,这是非常重要的有一个多多事件。这是第一次计算机能被委托人写tcp连接,实现超过人类的水平。

视觉和语音是有一个多多非常重要的感官输入,是人类智能的基础。现在每个人 后后有了其他基础的支柱,让每个人 才能进一步推进AI的发展,这在后后是难以想象的。后后声音和视觉的输入值不可靠励志的话 ,为社 才能有机器还才能去学习,还才能村里人 类一样的行为。每个人 相信一种基础后后有了,这也是为那先 每个人 认为现在是AI时代的刚开始。

全世界的研究者看了了了那先 结果,现在所有的AI实验室都刚开始使用GPU跑深度图学习,可是我 每个人 也还才能刚开始建立未来AI的基础。基本上所有的AI研究者都刚开始用每个人 的GPU。

GPU的核心是模拟物理世界,每个人 用GPU创建虚拟世界用于游戏、设计,用于讲故事,比如制作电影。模拟环境、模拟物理属性、模拟俯近所看了的世界,构建虚拟世界的过程如同人类大脑在想象时进行的计算。后后深度图学习的发展,使每个人 的工作进入新的阶段,人工智能。对人类智能的模拟会是每个人 所做的最重要的工作之一,后后每个人 对此非常激动。

三、GPU计算渗透到深度图学习各个领域

今天也是每个人 第一次在中国举办GTC大会,这次很大一每段内容会是关于人工智能和深度图学习。每个人 是有一个多多计算公司,SDK对于每个人 来讲是最重要的产品,GTC是每个人 最重要的一场盛会。每个人 还才能看一下过去几年的成长,这是非常了不起的增速。

今年GTC有18000名人员参加。下载每个人 SDK的开发人员增长了3倍,达到了30万开发人员。但最了不起的数字是深度图学习开发人员在两年之内有了25倍的增长,现在下载每个人 的深度图神经网络实验室引擎的开发人员后后增长了25倍,下载了30万5千次。

每个人 到底用它干那先 呢?所后后会 AI研究人员,每个人 来自于全球各地,现在所有的实验室后会 使用每个人 的GPU平台来做被委托人的AI研究,有软件公司、互联网软件提供商,还有互联网公司、汽车公司、政府、医疗成像、财务、制造等公司。现在用GPU深度图学习的领域是非常广的,非常了不起的。

四、大脑的运作就像GPU的计算

每个人 要问为那先 AI研究人员选者GPU,Alex每个人 发现GPU的并行运算实际是非常符合深度图学习网络的计算底部形态。那末 进一步来讲,为那先 GPU对深度图学习来讲是非常适合的工具呢?我要给每个人 讲有一个多多后会 那末 严肃的例子说明一下为那先 GPU非常重要。

大脑就像有一个多多GPU。比如我让每个人 想象乒乓球,每个人 闭上眼睛,每个人 大脑会形成有一个多多几被委托人打乒乓球的图像,后后让每个人 想象功夫熊猫,那末 脑子里会总出 是同类的功夫熊猫图像。所以每个人 的大脑在思考后会 生成其他图片。反过来,GPU的构架也像大脑一样,它后会 由有一个多多除理器进行序列的运算,每个人 的GPU有上千个除理器,非常小的除理器组合在一起去来一起去除理问题,这上千个除理器会进行数学计算、互相连接、分享信息,最终才能除理有一个多多很大的问题,就好像是每个人 的大脑一样。所以说大脑就像GPU,后后大脑还才能产生图片,而GPU也像人的大脑一样,所以有后后一种新的计算模式、新的计算模型还才能除理虚拟现实的问题,它我我觉得是非常适合GPU的。

深度图学习是一种新的计算模式,它会涉及软件的方方面面。深度图学习首好难设计有一个多多网络后后对网络进行训练,针对有一个多多网络的训练才能 几十亿甚至更多的操作,涉及上百万甚至有更多的数据,通过那先 数据对网络进行训练,才能 很长的时间。后后那末一个多多多GPU,一种过程后后才能 好哪有几个月,但GPU把一种时间压缩到几天内,这也是为那先 GPU才能帮助每个人 更好地除理问题。

五、寻找比摩尔定律进化得加快速度的计算模式

训练是深度图学习的有一个多多基础,一种网络有了后后,你希望运用一种网络来进行预测,进行推理,进行归类,要对有一个多多信息进行推理,比如有几十亿人每天在网上问所以的问题,有后后是图片,文字,语音,将来有后后是视频一种形式。在数据中心当中GPU推理才能非常快地响应。所以深度图学习的第一每段是训练,第二每段是推理。

深度图学习的第三每段,每个人叫IoT,智能设备、智能终端,你说歌词 是摄像头、汽车、机器人,你说歌词 是话筒,可是我 互联设备就变成了智能设备。物联网才能 有AI进行驱动,才能 深度图神经网络进行驱动,血块的智能终端根本目标是才能 去识别去归类进行交互,要快要准确,后后尽量在低功耗情况表下实现所有那先 功能。

在接下来那先 时间,软件的开发会和后后不一样,每个人 运行软件的方式也会不一样,在里面的运算也会不一样,所以设备上要运行那先 东西会不一样,所以深度图学习后后影响到到计算的各个方面。

现在每个人 看一下训练,首先每个人 应该意识到训练的简化性。前面提到了训练后后是几十亿甚至万亿的运算,模型越大数据太满,结果就会越准确,数据多,加上大模型、大的计算量后后带来深度图学习更好的结果,这是非常根本的、非常重要的。

微软有一个多多多叫ResNet的识别网络,后后跟AlexNet比较,AlexNet神经网络是8层,总计算量是1.4G的浮点运算,错误率是16%。8层和1.4G,错误率是16%,导致 那先 ?这是当时最好的。当时计算视觉专家研发的算法大每段错误率后后比16%更高,这说明用传统计算视觉方式的局限性很大,准确率那末 那末 高。

后后通很深度图学习,每个人 在过去几年中还才能实现3.5%的错误率,3.5%这是在几百万的图像当中进行测试152层的有一个多多网络,几年后后那末 8层,现在是152层,总共的计算能力是22.6G/flps,这是18倍的增长,这就表明了深度图学习趋于稳定的问题。三年之内深度图学习的计算负载增长了18倍,这比摩尔定律快所以。

所以问题变得那末 简化,那末 难,后后计算的能力却那末 相应速度的增长,这也是为那先 整个行业都刚开始寻找新的计算模式,为每个人 都刚开始来考虑使用GPU计算。

可是我 案例更加惊人,是关于语音识别。语音识别是自然语言理解的基础,自然语言理解也是智能的基础。这是百度吴恩达的实验室的工作,2014年有2800万的参数在一种模型当中,训练的材料是7000小时的语料8%的错误率。2015年的训练数据是此前的2倍,深度图学习网络是可是我 的4倍大,2倍的数据量,4倍的网络简化性,实现的错误率是5%,就在1年之内百度的DPS错误率降至了40%左右。后后才能 付出那先 样的代价?可是我计算量的增长。

深度图学习的方式花了那末 长的时间才真正总出 ,后后可是我 的方式从计算条件来说是那末 方式实现的,此前那末 任何计算机还才能对可是我 的网络进行训练,直到GPU总出 用于深度图学习的总出 。这是我讲的为那先 每个人 对可是我 新的计算模式非常振奋,为那先 现在在每个人 一种计算行业当中一种时刻非常重要。

一起去一种趋势在未来后会 继续,每个人 要记住每个人 现在还是5%的错误率,每个人 希望是0%的错误率。每被委托人的声音都还才能被识别,甚至是做得更好,还才能去理解词的语义,所以每个人 还有所以更大的计算需求。

六、AI会自上而下地改变计算系统

Pascal是每个人 针对深度图学习进行优化的GPU架构。Pascal的除理器是真正的奇迹,Pascal是有一个多多全新的架构,用立体的晶体管制成,用立体的封装,用3D的堆栈,所有那先 使得每个人 的Pascal架构实现了巨大的性能提升,新的指令级和新的制造制成、新的封装方式,以及新的互联连接方式把多个GPU连到一起去,可是我 它们还才能做有一个多多团队来开展工作。每个人 花了3年的时间,1万被委托人年的投入,完成了这项每个人 被委托人史上最大的工作。

每个人 也认识到除理器还可是我刚开始。在AI计算这块有可是我 有一个多多新的计算模式,计算系统架构也会趋于稳定变化,除理器的设计会趋于稳定变化,算法会趋于稳定变化,每个人 开发软件的方式会趋于稳定变化,系统的设计也会趋于稳定变化。

每个人 有一个多多多新的超级计算机,在有一个多多盒子的大小之内,这可是我叫DGX-1,替代了共要 280台服务器,整个数据中心都缩成了有一个多多小盒子的大小。一种超级计算机完后会 重新设计的。看一下每个人 除理器的成就加上上DGX-1,使得每个人 在一年之内的性能有65倍的提高。相比较一种Alex第一次用每个人 GPU来训练他的网络的后后,这是65倍的提高。这比摩尔定律的速度要快所以,比整个半导体的发展要快所以,比任何其他的在计算的进步方面要快所以。

雷锋网原创文章,未经授权禁止转载。详情见转载须知。