齐鲁彩票

侵权投诉

NVIDIA 如何应对会话式AI带来的推理挑战?

墨记 2019-11-08 16:53 次阅读

NVIDIA GPU曾于去年12月和今年7月两度树立了数据中心神经网络训练的性能标杆。今天发布的行业基准结果显示,NVIDIA也引领着数据中心内部与外部AI网络的趋势。

NVIDIA Turing GPU和Xavier 芯片系统在首个独立AI推理基准测试 ——MLPe Inference 0.5中取得第一名。由于推理一直是AI市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。

在参与此次测试的十二家公司中,只有NVIDIA AI平台提交了 MLPerf的全部五项推理测试成绩(MLPerf是一个于2018年5月成立的行业基准测试小组)。这证明了NVIDIA CUDA-X AI和TensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的NVIDIA GPU应用于数据中心、边缘等领域。

MLPerf定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。
图1:NVIDIA在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU被评为市面上单处理器性能最高的GPU。
图2:NVIDIA Turing在MLPerf数据中心场景中的成绩超过了其他市面上的处理器。
 
离线场景中具有代表性的场景有图像等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。

Xavier在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。

工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用6台以上摄像机的自动驾驶汽车而言,是一项关键的能力。
图3:NVIDIA Xavier在MLPerf边缘场景中成为市面上最佳的边缘和移动芯片系统。
 
该结果显示了NVIDIA CUDA和TensorRT软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是NVIDIA所独有的能力。

在数据中心场景中,NVIDIA的两款GPU还出现了相互竞争的场面。NVIDIA TITAN RTX 展示了Turing级 GPU的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的GNMT模型等。

功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU 在多个场景取得了优秀的成绩。这个功耗仅为70瓦的GPU能够轻松安装到任何带有PCIe槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。

MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。

NVIDIA此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部20个场景中的19个场景的成绩,以此表明公司对这项工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客户阿里巴巴同样使用NVIDIA GPU提交了成绩。相比于其他参与者,NVIDIA与合作伙伴和客户一同向用户全面地展示了NVIDIA产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而NVIDIA也在该领域中不断前进,未曾停止脚步。

今天,NVIDIA发布了用于MLPerf测试的Xavier芯片系统低功耗版本——Jetson Xavier NX ,其最大功率仅为15瓦,却具有最高21 TOPS的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。

除了新的硬件之外,NVIDIA还发布了在MLPerf基准测试中所使用的最新TensorRT 6 优化,并在GitHub上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA不断地对该软件进行升级,使用户可以从日益增加的AI自动化与性能中获益。

让推理变得更简单

今天的MLPerf测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。

NVIDIA创始人兼首席执行官黄仁勋在去年GTC大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代AI推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。

这就是为何用户越来越喜欢使用高性能的NVIDIA GPU和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的公司。

本周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用NVIDIA GPU进行AI训练和推理。

硬盘制造商希捷希望通过在NVIDIA GPU上运行的AI推理将生产量提高10%。该公司预计,通过提高效率和质量,其将获得高达300%的投资回报。

Pinterest依靠NVIDIA GPU训练和评估其识别模型并对其1750亿条Pin贴文执行实时推理。

Snap使用NVIDIA T4加速器在谷歌云平台上执行推理。相比于仅采用了CPU的系统,这提高了其广告的效果,同时降低了成本。

Twitter发言人就这一趋势表示:“GPU的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI会话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

NVIDIA已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA们的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。NVIDIA的客户和合作伙伴中包括有会话式AI领域的一流公司,比如Kensho、微软、Nuance、Optum等。

最后要补充的是,MLPerf小组已经开始致力于改进其当前的0.5推理测试。NVIDIA将努力在基准测试中继续发挥领导作用。

收藏 人收藏
分享:

评论

相关推荐

2020年第三届AI大会圆满成功,最新IP/芯片/方案/生态加速AI落地

2020年7月10日,由全球电子科技领域专业媒体电子发烧友 举办的第三届2020年人工智能大会盛大开....
发表于 07-11 13:50 623次 阅读
2020年第三届AI大会圆满成功,最新IP/芯片/方案/生态加速AI落地

人工智能的三大技术

毫不夸张地说,2019年人工智能的现状就是强化学习回归的一年。简单介绍一下强化学习,它是机器学习中的....
发表于 07-11 11:20 350次 阅读
人工智能的三大技术

世界人工智能大会马云:人工智能应该叫机器智能

今年开幕的世界人工智能大会上,马云以联合国数字合作高级别小组联合主席的身份,以全息影像的方式出现在大....
发表于 07-11 11:13 460次 阅读
世界人工智能大会马云:人工智能应该叫机器智能

四个方面为你解读人工智能

任何一个入门的软件开发人员都会听到这句话:算法是软件的灵魂!近年来大火的“机器学习”即是在算法在人工....
发表于 07-11 10:59 55次 阅读
四个方面为你解读人工智能

商汤科技上海新一代人工智能计算与赋能平台项目正式启动

平台将打造以商汤自主研发的原创AI训练框架SenseParrots为核心,包括集成训练开发环境、数据....
的头像 机器人技术与应用 发表于 07-11 10:15 348次 阅读
商汤科技上海新一代人工智能计算与赋能平台项目正式启动

浙江大学研发的新一代人工智能科教平台“智海”正式上线

据了解,该平台将为新一代人工智能教材的学习提供算法实训,让学习者体会人工智能具能、使能和赋能,从算法....
的头像 机器人技术与应用 发表于 07-11 10:04 388次 阅读
浙江大学研发的新一代人工智能科教平台“智海”正式上线

快讯:最高法院改判小i机器人专利获胜,苹果侵权案有望反转

极智嘉近日推出两款智能消毒机器人——智能紫外线消毒机器人Lavender和智能喷雾消毒机器人Jasm....
的头像 机器人大讲堂 发表于 07-11 09:45 304次 阅读
快讯:最高法院改判小i机器人专利获胜,苹果侵权案有望反转

互联网不断演进,未来将发生无限可能

互联网让人们的办事越来越便利。从前办事跑断腿,现在是数据多跑路、老百姓少跑路,国家与地方一体化电子政....
的头像齐鲁彩票 我快闭嘴 发表于 07-10 20:07 419次 阅读
互联网不断演进,未来将发生无限可能

对人工智能的误解

可以说,关于人工智能最普遍和潜在危险的误解是,它将夺走人类的工作岗位。是的,自动化正导致一些低技能工....
发表于 07-10 19:20 117次 阅读
对人工智能的误解

齐鲁彩票瑞萨电子:嵌入式终端与人工智能融合改变工业格局

瑞萨电子在汽车、工业、基础设施和物联网等多个领域提供了专业可信的嵌入式设计与半导体解决方案,面对工业....
的头像 E4Life 发表于 07-10 18:47 1101次 阅读
瑞萨电子:嵌入式终端与人工智能融合改变工业格局

基于SaaS的人工智能培训将改变游戏规则

如果用户使用基于机器学习的系统,那么需要了解有关训练数据的知识。在将数据加载到人工智能模型以进行模型....
发表于 07-10 18:47 142次 阅读
基于SaaS的人工智能培训将改变游戏规则

医疗领域的人工智能

从宏观上看,人工智能(AI)提供了劳动力补充,AI成为一种数据决策的工具,而其作为合作伙伴也一定具备....
发表于 07-10 18:44 279次 阅读
医疗领域的人工智能

深度学习框架大PK

近年来,开发者社区中,「开源」成了新流行趋势。 尤其是深度学习框架,自腾讯2017年将ncnn....
发表于 07-10 18:37 294次 阅读
深度学习框架大PK

你不知道的人工智能9个方面

1、人工智能是什么? 人工智能是一门利用计算机模拟人类智能行为科学的统称,它涵盖了训练计算机使其能够....
发表于 07-10 18:26 431次 阅读
你不知道的人工智能9个方面

解析人工智能未来如何发展

“我们要做到AI向善,努力让人工智能实现可知、可控、可用、可靠。”在昨天的世界人工智能大会上,腾讯董....
发表于 07-10 18:22 190次 阅读
解析人工智能未来如何发展

2020年人工智能未来可期

本届大会采用线上活动为主的形式,突破“面对面”的地域限制,实现“屏对屏”的跨越,更让这届大会科技范、....
发表于 07-10 18:18 328次 阅读
 2020年人工智能未来可期

对于人工智能会不会取代人类

关于人工智能,各位大佬都在表述自己的观点,有正面积极的,也有泼冷水的。@国纳环境酱人工智能的作用被夸....
发表于 07-10 18:11 302次 阅读
对于人工智能会不会取代人类

沪产载人飞行器将于今年年底试飞

作为本届人工智能大会线下展区唯一受邀参展的智能飞行器企业,携电动垂直起降飞行器V50大白鲨真机亮相上....
发表于 07-10 17:49 77次 阅读
沪产载人飞行器将于今年年底试飞

人工智能自动化领域将是IBM未来的发展重点之一

RPA应用人工智能和机器学习功能来执行以前需要人类执行的可重复任务。采用RPA可以降低成本,提高质量....
的头像 lhl545545 发表于 07-10 17:29 315次 阅读
人工智能自动化领域将是IBM未来的发展重点之一

重磅揭晓!电子发烧友2020年度首届“中国人工智能卓越创新奖”名单正式出炉

2020年7月10日,深圳讯由全球电子科技领域专业媒体电子发烧友举办的第三届2020年人工智能大会圆....
的头像 Carol Li 发表于 07-10 16:59 1308次 阅读
重磅揭晓!电子发烧友2020年度首届“中国人工智能卓越创新奖”名单正式出炉

人工智能诊疗、互联网教学等已实现

今天发布的《北京市加快新场景建设培育数字经济新生态行动方案》披露,本市将通过实施应用场景“十百千”工....
发表于 07-10 16:59 354次 阅读
人工智能诊疗、互联网教学等已实现

人工智能 互联网公司纷纷出手

近年来,人工智能作为未来科技发展趋势,也是当前最热门的科技技术,并得到广泛引用,各行业利用人工智能等....
发表于 07-10 16:52 520次 阅读
人工智能 互联网公司纷纷出手

人工智能发展四大趋势解析

第四届世界智能大会开幕。科大讯飞董事长刘庆峰出席大会,并在主题演讲中表示,中国的人工智能会面临着前所....
发表于 07-10 16:46 48次 阅读
人工智能发展四大趋势解析

“万物智联,芯火燎原” 人工智能芯片创新主题论坛顺利召开

会议以“万物智联,芯火燎原”为主题,围绕人工智能芯片技术和应用趋势而展开。浦东新区人民政府副区长管小....
发表于 07-10 16:38 127次 阅读
“万物智联,芯火燎原” 人工智能芯片创新主题论坛顺利召开

可视化决策系统可实现对楼宇运行状态进行监测与预警

在推进“新基建”的大背景下,人工智能、物联网等先进技术与基础设施深度融合,为智能建筑的发展与应用发展....
发表于 07-10 16:33 152次 阅读
可视化决策系统可实现对楼宇运行状态进行监测与预警

人工智能技术与物联网技术为楼宇行业向新趋势迈进提供新契机

智能建筑是建筑技术与计算机信息技术相结合的产物,是信息社会与经济国际化的需要。智能建筑主要有楼宇自动....
发表于 07-10 16:31 30次 阅读
人工智能技术与物联网技术为楼宇行业向新趋势迈进提供新契机

齐鲁彩票AIoT技术正在成为构建新型能源体系的重要支撑

2019年10月,远景能源发布了首款搭载智能新技术的“超感知”智能风机。与传统智能风机不同,“超感知....
的头像 lhl545545 发表于 07-10 16:20 282次 阅读
AIoT技术正在成为构建新型能源体系的重要支撑

“新基建”推动智能楼宇为生命和财产安全保驾护航

新冠病毒疫情为城市管理和基础设施运营带来了前所未有的挑战。然而,大数据、人工智能、5G等技术在疫情中....
发表于 07-10 16:13 63次 阅读
“新基建”推动智能楼宇为生命和财产安全保驾护航

AI为全球人工智能创新发展和应用提出新方案

触想长期坚持自主研发智能触控显示设备类产品,在此项目应用中触想把智能技术与商业终端相结合,通过人脸识....
的头像 lhl545545 发表于 07-10 16:03 744次 阅读
AI为全球人工智能创新发展和应用提出新方案

齐鲁彩票超维计算是一种新兴的计算方法,受到人脑神经活动模式的启发

研究人员在过去的工作中观察到,HDC涉及的主要操作,即编码和关联内存搜索,都涉及对系统内存中大型分布....
的头像 倩倩 发表于 07-10 15:54 142次 阅读
超维计算是一种新兴的计算方法,受到人脑神经活动模式的启发

人工智能机器人的发展将为人类带来新的技术变革

2020年7月9日,以智联世界、共同家园为主题,围绕AI技术趋势、AI赋能经济、AI温暖家园三大议题....
发表于 07-10 15:36 252次 阅读
人工智能机器人的发展将为人类带来新的技术变革

麻省理工学院与Ava Robotics合作开发了新型的消毒自动机器人

麻省理工学院的计算机科学和人工智能实验室(CSAIL)部门与机器人公司Ava Robotics合作开....
的头像 倩倩 发表于 07-10 14:53 179次 阅读
麻省理工学院与Ava Robotics合作开发了新型的消毒自动机器人

人脸识别技术知多少

基于人工神经网络的方法直接使用图像像素点作为神经网络的输入,通过模拟人脑神经元工作机制,可学习到其他....
发表于 07-10 14:14 432次 阅读
人脸识别技术知多少

人工现实系统可以识别已知手势并相应地做出响应

2020年第二季度初,美国专利商标局发布了Facebook提出的未来VR手套的专利申请,该专利将使用....
的头像 lhl545545 发表于 07-10 14:10 106次 阅读
人工现实系统可以识别已知手势并相应地做出响应

汽车电子行业成为推动人工智能发展的重要行业之一

自动驾驶和高度自动化的车辆将严重依赖各种类型的传感器,包括摄像头、热成像、雷达、激光雷达(LiDAR....
发表于 07-10 12:36 198次 阅读
汽车电子行业成为推动人工智能发展的重要行业之一

建筑机器人应用场景解析

进入新世纪以来,我国城市化与城镇化发展持续提速,带动了建筑行业的整体发展。然而,建筑行业施工安全风险....
发表于 07-10 11:34 184次 阅读
建筑机器人应用场景解析

人类医生与机器人医生的组合,完美地实现了优势互补

连日来,你浑身疲乏无力,担心健康出了状况,便去医院检查。你拿着验血报告去找大夫分析,推开诊室门,迎面....
发表于 07-10 11:30 87次 阅读
人类医生与机器人医生的组合,完美地实现了优势互补

瑞科技园配备了多套国际及国内领先的MALDI-TOF质谱分析系统

6)研发管线多款产品取得重大进展,公司与行业龙头企业合作开发的全球首台套用于肿瘤肽谱检测的ClinM....
的头像 lhl545545 发表于 07-10 11:29 186次 阅读
瑞科技园配备了多套国际及国内领先的MALDI-TOF质谱分析系统

你不知道的人工智能视觉技术

视觉传感技术是传感技术七大类中的一个,视觉传感器是指通过对摄像机拍摄到的图像进行图像处理,来计算对象....
发表于 07-10 10:52 90次 阅读
你不知道的人工智能视觉技术

人工智能将会是未来人类发展的核心技术

在大会开幕之前,有趣的3D虚拟A.I.家园云展览已经率先拉开了帷幕,大家可以在云上感受人工智能给我们....
的头像 科技观察者 发表于 07-10 10:41 721次 阅读
人工智能将会是未来人类发展的核心技术

人工智能正在改变传媒行业

在内容生产上,AI可以在短时间内,搜集大量相关的信息并进行整合,编辑出简单的新闻文字,解决人工难以快....
发表于 07-10 10:41 118次 阅读
人工智能正在改变传媒行业

通过数据智能化来赋能产业并实现转型升级

7月9日,智联世界、共同家园2020世界人工智能大会(WAIC)云端峰会正式开幕。作为在中国企业级服....
的头像 科技观察者 发表于 07-10 10:40 84次 阅读
通过数据智能化来赋能产业并实现转型升级

人工智能影响供应链的8大方式解析

有了人工智能技术,企业通过处理大量的数据——例如由传感器生成的数据——以了解现实情况,然后做出合理的....
发表于 07-10 10:38 58次 阅读
人工智能影响供应链的8大方式解析

人工智能遇到新基建 人工智能加速发展

新华社北京7月10日电(记者钟源)《经济参考报》7月10日刊发题为《AI遇上新基建 促人工智能加速落....
发表于 07-10 10:31 137次 阅读
人工智能遇到新基建 人工智能加速发展

人工智能加持下的机器人 太“智能”了

百花齐放的人工智能技术,已在生产、生活的各个领域落地结果。7月9日,2020世界人工智能大会现场,通....
发表于 07-10 10:24 277次 阅读
人工智能加持下的机器人 太“智能”了

华为智能化实践,使能千行百业+智能

陶景文指出,随着新技术的不断涌现,第四次工业革命已来,这其中蕴含了巨大的数字化机会。5G+AI+云+....
的头像 lhl545545 发表于 07-10 10:22 262次 阅读
华为智能化实践,使能千行百业+智能

Instagram开始正式发布其固定评论功能

最初的测试恰逢Instagram发布了用于批量删除评论的工具,该工具已经启用了两个月。要固定评论,只....
的头像 倩倩 发表于 07-10 10:16 208次 阅读
Instagram开始正式发布其固定评论功能

AI很快将以经验丰富的老手的精度来解释成像结果

来自亚特兰大埃默里大学伦理学中心的作者约翰·班贾(John Banja)博士写道,人工智能无疑将对放....
的头像 倩倩 发表于 07-10 09:59 208次 阅读
AI很快将以经验丰富的老手的精度来解释成像结果

人工智能和自动驾驶汽车有关的道德问题的方式中存在一个很大的缺陷

这种情况下,关于道德的大多数讨论都集中在自动驾驶汽车的AI是自私的(保护车辆及其货物)还是功利的(选....
的头像 倩倩 发表于 07-10 09:48 532次 阅读
人工智能和自动驾驶汽车有关的道德问题的方式中存在一个很大的缺陷

机器人医生和其他人工智能工具正在进入新西兰的医疗保健系统

 “目前,医学界的AI仅限于诊断工具和提供药物相互作用信息之类的东西。它在亚洲并不像在亚洲和欧洲那样....
的头像 倩倩 发表于 07-10 09:45 177次 阅读
机器人医生和其他人工智能工具正在进入新西兰的医疗保健系统

GPU加速的L0范数图像平滑(L0 Smooth)【CUDA】

GPU 加速的 L0 范数图像平滑(L0 Smooth)【CUDA】
发表于 07-08 12:10 19次 阅读
GPU加速的L0范数图像平滑(L0 Smooth)【CUDA】

人工智能改变客户体验的10种方式

  1)为客户提供准确,个性化的建议   人工智能可以分析客户的购买历史,然后为他们可能感兴趣的其他产品和服务提供建议。这...
发表于 06-19 11:20 263次 阅读
人工智能改变客户体验的10种方式

数字孪生再现旅行者号轨迹,可视化拉开航天新时代

[quote]做为数据可视化的一线重度参与者,本着技术为本,持续的奔波在自主研发的道路上。2020年,国家发改委多次点名‘数字孪生’...
发表于 06-18 09:29 221次 阅读
数字孪生再现旅行者号轨迹,可视化拉开航天新时代

大彩串口屏在智能档案柜上面的应用

二、产品优势 1. 智能档案柜集手动、电动、电脑控制于一体,操作方便、移动平稳、安全可靠。2. 采用红外感应方式对仓位的状态进行...
发表于 05-28 16:19 218次 阅读
大彩串口屏在智能档案柜上面的应用

延迟和指令呈现百度人工智能交互设计院的最新研究

有屏智能设备的多维对话:延迟和指令呈现  百度人工智能交互设计院最新研究...
发表于 05-25 09:46 111次 阅读
延迟和指令呈现百度人工智能交互设计院的最新研究

如何使用人工智能来发挥传感器数据的协同作用

人工智能(AI)目前正在为社会的方方面面带来革新。比如,通过结合数据挖掘和深度学习的优势,如今可以利用人工智能来分析各种...
发表于 05-19 08:13 297次 阅读
如何使用人工智能来发挥传感器数据的协同作用

电路设计行业未来将会转为人工智能

现在的社会正慢慢转向人工智能和电路的方向,而不是纯粹的电路设计。 未来,有可能超市不需要服务员,仅仅需要部分理货人员。 ...
发表于 05-18 15:51 349次 阅读
电路设计行业未来将会转为人工智能

人工智能、机器学习、数据挖掘有什么区别

人工智能、机器学习、数据挖掘的区别
发表于 05-14 16:02 133次 阅读
人工智能、机器学习、数据挖掘有什么区别

二维位元阵列是否可行?

嗨,正如标题所暗示的,我想知道是否有可能制作一个2维的比特串。我需要它作为CPU和GPU之间的缓冲区。如果可能的话,那么1...
发表于 05-11 06:17 109次 阅读
二维位元阵列是否可行?

RPA与人工智能的相连

RPA与人工智能
发表于 04-13 09:23 194次 阅读
RPA与人工智能的相连
江苏快3平台 上海11选5 优优彩票APP 美狮彩票 搜狐彩票