表演机器人

爱体育在线登录:机器学习人工智能运用开发的硬件及机会

发布时间:2021-09-06 03:51:56 | 来源:爱体育官方网站 作者:爱体育网页版


  是如安在机器学习硬件范畴完结近乎独占的方位,以及为什么简直没有人能成功应战它。

  在曩昔的10年中,专用于机器学习运用的硬件研讨迅猛开展,硬件与机器学习栈的每个部分都有联系。这种硬件可加快练习和推理,削减推迟时刻,下降功耗,并下降这些设备的零售本钱。当时通用的机器学习硬件解决方案是英伟达GPU,这使得英伟达在商场上占有主导方位,并使其估值逾越英特尔。

  跟着远景宽广的研讨不断涌现,英伟达继续经过出售GPU和它的专有CUDA东西箱来主导这个范畴。不过,我以为有四个要素将应战英伟达的操控方位,并且最快本年,也必定会在2~3年内改动机器学习硬件的格式。

  这个范畴的学术研讨正在成为干流。摩尔定律已死。跟着它的消亡,“技能和商场力气正在将核算面向相反的方向,使得核算机处理器不再是通用的,而是愈加专业化的。”(出处)出资人和创始人都认识到,人工智能不只能拓荒新的范畴,并且能添加他们的预算。人工智能发生的碳排放量过高,并且越来越高。咱们需求让核算愈加节能。

  关于大多数数据科学作业流而言,在练习和布置大型模型之前,通用芯片,如CPU,就现已足够了。GPU在“深度学习”(触及视觉和天然语言处理等使命的神经网络体系结构)中简直总是必不可少的。为深度学习供给GPU作业站的LambdaLabs公司估量,包括英伟达的尖端GPU集群在内,练习GPT-3的费用大约为460万美元。

  运用GPU的首要长处是,与传统CPU比较,GPU能够并行地履行核算,数据吞吐量更高。核算过程中,机器学习的中心核算部分是矩阵乘法,并行运转时能大大前进运算速度。专有的英伟达CUDA供给了API和东西,以便开发者能够运用这种并行化。像TensorFlow和PyTorch这样的流行库将其笼统出来,其间一行代码会主动检测GPU,然后运用CUDA后端。若要规划一种新的算法或库,需求运用并行核算的优势,CUDA供给的东西会使这一作业愈加简略。

  上世纪90年代初,英伟达作为一家视频游戏公司发家,希望能供给能快速制作3D图画的图画芯片。它在这一事务上取得了成功,在与另一家显卡制作商AMD的不断比武中,始终如一地制作出一些最强壮的GPU。偶然的是,相同的图形硬件居然成了深度学习腾飞不可或缺的要素。CUDA让英伟达比其他GPU更有优势。

  2006年,英伟达发布了第一个CUDA东西包,它供给了一个API,能够让运用GPU变得十分简略。3年后,2009年,斯坦福大学人工智能教授吴恩达及其协作者宣告了一篇题为《运用图形处理器的大规模无监督式深度学习》(Large-scaleDeepUnsupervisedLearningusingGraphicsProcessors)的论文,指出假如GPU用于练习,大规模的深度学习就有或许完结。

  一年后,吴恩达和斯坦福大学的另一位教授,GoogleX的一起创始人,SebasanThrun,向拉里·佩奇提出了在谷歌建立深度学习研讨团队的主意,该团队后来成为GoogleBrain。伴跟着GoogleBrain的鼓起和“Imagenet时刻”的到来,英伟达的GPU现已成为人工智能/机器学习职业事实上的核算规范。如需更多信息,请参阅这篇文章《新的英特尔:英伟达怎么从驱动视频游戏到改造人工智能》(TheNewIntel:HowNvidiaWentFromPoweringVideoGamesToRevoluTIonizingArTIficialIntelligence)。

  英伟达凭仗其GPU在深度学习硬件范畴占有主导方位,这在很大程度上要归功于CUDA。据福布斯报导,“2019年5月,前四大云核算供货商在97.4%的基础设施即服务(IaaS)核算实例类型中布置了英伟达GPU,并装备了专用加快器”。面临竞赛,它也没有束手待毙。

  谷歌早在2015年就开发了专门为神经网络开发的人工智能加快器芯片TPU。在其作为特定范畴加快器的狭义用例中,TPU比GPU更快,也更廉价,但在谷歌的GCP生态体系中,TPU被阻隔起来,仅有TensorFlow和PyTorch支撑(其他库需求自己编写TPU编译器)。

  AWS正在对自己的芯片下赌注,尤其是机器学习。到现在为止,AWSInferenTIa芯片好像是最成功的。这在很大程度上取决于开发者从CUDA切换到亚马逊Inferentia和其他芯片的东西包的难易程度。

  2019年12月,英特尔以20亿美元的价格收买了HabanaLabs,这是一家以色列公司,为练习和推理作业负载制作芯片和硬件加快器。英特尔的出资好像得到了报答,上个月,AWS宣告将供给运转Habana芯片的新EC2实例,“与当时依据GPU的EC2实例比较,为机器学习作业负载供给高达40%的价格功用”。英特尔还推出了新的XeonCPU系列,它以为可与英伟达的GPU竞赛。

  Xilinx是一家发明FPGA的上市公司,最近又进入人工智能加快器芯片范畴,2020年10月被AMD收买。

  正如我在上面说到的,我的想象是,到2021年及今后,英伟达的主导方位将会遭到越来越多的应战和腐蚀。形成这种状况的原因有四个:

  学术界和工业界研讨人员创立的一些草创公司现已开端研讨机器学习专用硬件,并且还有更多的开发空间。在这个范畴宣告的论文并不仅仅提出理论上的确保,它还展现了真实的硬件原型,这些原型完结了比商业可用选项更好的方针。(实例1、实例2和实例3)

  芯片和硬件加快器的品种许多,每一种都有其蓬勃开展的研讨社区。简略地罗列一些:

  专用集成电路ASIC)。谷歌TPU和AWSInferentia都是ASIC的比方。ASIC产品的研制和出产本钱或许高达5000万美元,可是仿制产品的边沿本钱一般很低。ASIC能够被规划成低功耗的,并且不会对功用有太大的影响。

  现场可编程逻辑门阵列(FPGA)。FPGA关于高频买卖者来说已稀松往常,但在机器学习方面的比方包括微软的Brainwave和英特尔的Arria。单个FPGA的出产本钱较低,但多个FPGA的出产边沿本钱要高于ASIC。

  神经形状核算。该范畴企图对人脑的生物结构进行建模,并将其转换成硬件。尽管神经形状学的思维能够追溯到20世纪80年代,但该范畴仍处于起步阶段。在《天然》上有一篇很好的总述性论文。

  Blaize于2019年声称现已开宣告一种彻底可编程的低功耗处理器,可完结10倍的低推迟,并且“体系功率最高可前进60%”。

  SambaNovaSystems是由斯坦福大学教授和甲骨文前高管创立的草创公司,由谷歌风投和英特尔本钱出资组成。它刚刚宣告了一项新产品,该产品是一个“完好、集成的软件和硬件体系渠道,能够对从算法到芯片的数据流进行优化”。

  Graphcore是一家英国草创公司,由红杉、微软、宝马和DeepMinds创始人领投。

  摩尔定律猜测,集成电路上的晶体管数量每两年就会添加一倍。自20世纪70年代以来,这在经历上一向是正确的,并且是咱们从那时起所看到的技能前进的代名词:个人核算革新、传感器和摄像头的改善、移动设备的鼓起,以及为人工智能供给足够资源的鼓起,但凡你能想到的全部。仅有的问题是,摩尔定律行将完毕,假如它还没有完毕的话。“缩小芯片的难度越来越大,这现已不是什么隐秘了,并且这样做的优点也今非昔比了。上一年,英伟达的创始人黄仁勋直言不讳地以为,‘摩尔定律已不再或许了’。”《经济学人》(TheEconomist)写道。

  麻省理工学院经济学家NeilThompson在《麻省理工科技谈论》(MITTechnologyReview)上解说说:“软件和专业架构方面的前进现在将开端有挑选地针对特定的问题和商业机会,对那些有足够资金和资源的人有利,而不是像摩尔定律那样‘水涨船高’,经过供给速度更快、本钱更低的芯片来遍及。”一些人,包括Thomspon在内的,都以为,“这是一个消沉的开展,因为核算硬件将开端分裂为“‘快车道’运用和‘慢车道’运用程序,前者运用功用强壮的定制芯片,而后者则被卡在运用通用芯片上,并且其开展缓慢。”

  关于这个问题,散布式核算常常是一种解决方案:让咱们运用功用更少、本钱更低的资源,但要运用许多的资源。可是,就连这种方案也越来越贵重(更别提散布式梯度下降算法的复杂性了)。

  那么,接下来会发生什么呢?2018年,CMU的研讨人员在《天然》上宣告了一篇论文,题为《摩尔定律晚期的科学研讨方针》(ScienceandresearchpolicyattheendofMoore’slaw),该论文指出,私营部门将要点放在短期盈余上,这使得摩尔定律很难找到通用的继承者。他们呼吁公私协作,一起发明核算硬件的未来。

  尽管我并不对立公私协作(给予他们更多的权力),但我以为未来的核算硬件将是专用芯片的调集,当它们协同作业时,它们比现在的CPU更能担任通用使命。我信任苹果向自己的芯片过渡是朝着这个方向迈出的一步,这证明了软硬件集成体系将优于传统芯片。特斯拉也在主动驾驶中采用了自己的硬件。咱们需求的是许多的新玩家涌入硬件生态体系,这样专业芯片的优点就能够完结大众化,并散布在贵重的笔记本电脑、云服务器和轿车之外。(我敢说……是时分打造了吗?)

  AndreessenHorowitz的MartinCasado和MattBornstein在上一年年头宣告了一篇题为《人工智能的新事务(及其与传统软件的差异》(TheNewBusinessofAI(andHowIt’sDifferentFromTraditionalSoftware))的文章,他们以为人工智能的事务与传统软件是不同的。说到底,全部都与赢利有关。“云核算基础设施对人工智能公司来说是一个巨大的本钱,有时乃至是隐性本钱”。正如我所说到的那样,练习人工智能模型或许需求花费数千美元(假如你是OpenAI,你就得花数百万美元),但本钱并不止于这些。人工智能体系有必要得到继续监控和改善。假如你的模型是“离线”练习的,那么它很简单呈现概念漂移,即实际世界中的数据散布跟着时刻的推移与你练习的数据发生变化。这种状况或许是天然发生的,也或许是对抗性的,比方当用户企图诈骗信用危险算法时。呈现这种状况时,就有必要对模型进行再练习。

  关于下降概念漂移和创立与现有模型具有相同功用确保的更小的模型有一些活跃的研讨,但这是另一篇文章的主题。一起,该职业也正在推动更大的模型和更大的核算开销。更廉价、更专业的人工智能芯片无疑会下降这些本钱。

  由马萨诸塞大学阿默斯特分校进行的一项研讨发现,练习一个现成的天然语言处理模型所发生的碳排放量相当于从旧金山飞往纽约的一次航班。在三大云核算供货商中,只需谷歌的数据中心超越50%的动力来自可再生动力。

  但我以为,我不用列出咱们为什么要削减人工智能的碳排放。我想说的是,现有的芯片耗电量过大,并且研讨标明,其他类型的硬件加快器,如FPGA和超低能耗芯片(如谷歌TPUEdge),关于机器学习和其他使命来说,能够愈加节能。

  即使是地舆也会影响到人工智能的碳排放。斯坦福大学的研讨人员估量,“在首要依托页岩油的爱沙尼亚举办一次会议,其发生的碳排放量是在魁北克举办的会议的30倍,而魁北克首要依托水力发电。”

  我现已说到了人工智能的硬件,可是人工智能的硬件怎么样?谷歌最近申请了一项专利,该专利是关于一种运用强化学习来确认跨多个硬件设备的机器学习模型操作的方位的办法。这项专利背面的研讨人员之一是AzaleaMirhoseini,她在GoogleBrain担任机器学习硬件/体系的登月方案。

  直播主题:● AI知名企业大佬现场共享观念,解读职业趋势● 我国AI产品制作商和体系集成商的产品、技能和商场战略● AI

  人工智能(AI)历史悠久,自1955年便被公以为一门学科。人工智能是核算机仿照人类智能、从经历中学习....

  施行作业将由白宫科学技能方针办公室领导,并由美国国家规范与技能研讨院,美国国家科学基金会或动力部每年....

  癌症是该公司周一宣告的四个医治方针的要点。该公司特别指出,它正在研讨与结肠癌有关的USP28。HDA....

  松下表明,新的AR HUD体系将人工智能检测到的重要信息直接投射到驾驶员的视界中。这种状况避免驾驶员....

  该中心推出的九月为中心的器械和辐射健康中心(CDRH)的一部分,表明将考虑这样掺入潜在的奉献者设备的....

  大约一年前,FCA开端将Alexa集成到其Uconnect 5操作体系中。自定义帮手依据Amazon....

  就像斯坦福大学的核算机科学家李飞飞博士所说的那样:“ [这是我职业生涯中的第一次,成功不只仅取决于工....

  冠状病毒研讨正在全速进行。在此过程中,技能急于供给协助。Facebook人工智能研讨人员旨在协助医疗....

  在职业方面,IBM 也改动了协作办法。在金融、电信这些对安全有着极高要求、一起又是 IBM 有着深沉....

  语音辨认是一门交叉学科,所触及的范畴有信号处理、形式辨认、概率论和信息论、发声机理和听觉机理、人工智....

  主动进行房间地上清洁的主动扫地机器人,集机械学、电子技能、传感器技能、核算机技能、操控技能、机器人技....

  1月10日新媒体专电 2020年,新冠疫情暴虐世界,但科技开展的脚步没有阻滞,人类的科学探究脚步迈向....

  曩昔十年里,人工智能从实验室走向工业化出产,重塑传统职业形式、引领未来的价值现已凸显,并为全球经济和....

  1月8日,青岛认知人工智能研讨院准备会在市南区举办,市科技局、市南区政府有关领导及研讨院准备组首要成....

  2021新年伊始(1月4日),商汤科技上海新一代人工智能核算与赋能渠道项目在临港新片区隆重举办封顶仪....

  1月21日音讯,据国外媒体报导,Facebook宣告对其人工智能(AI)技能进行新的改善,增强为视障....

  人工智能现已越来越多运用到医疗确诊情形中,比方站长之家曾报导的谷歌AI体系能够辅佐医师辨认乳腺癌。最....

  1月18日,人工智能视觉算法商城——极视角宣告完结C1轮融资,此轮融资由北顶峰本钱与天奇创迎合投,毅....

  它是集主动操控、体系结构、人工智能、视觉核算等许多技能于一体,是核算机科学高度开展的产品,也是衡量一....

  8大技能优势,6个开展趋势,人脸辨认现已深化到了日子的方方面面。 近年来, 跟着人工智能、核算机视觉....

  1月20日,2020年我国十大科技开展新闻、世界十大科技开展新闻在京揭晓。

  因为AI技能的老练运用,我国电子警察体系的运用迎来一个全新的年代。比较之下,AI电子警察比人的判别更....

  NTT东日本公司发布音讯称,已建立国产无人机的制作、出售、服务等的新企业。NTT东日本在运用无人机检....

  1月21日,寒武纪思元290智能芯片及加快卡、玄思1000智能加快器量产落地后初次正式露脸。思元29....

  核算的才能是有极限的,但因而,人类无法操控超级人工智能。 近来,一项新的研讨发现,从理论上来看,人类....

  城市环境卫生如安在出游顶峰期承载更大的压力?怎样更好的办理环卫车辆和环卫工人?这些问题一向困扰着卫生....

  跟着科学技能的不断前进和开展,人工智能的开展是年代的必定,也将对我国经济开展作出重要的奉献。2021....

  近年来,在算法、算力和大数据三大要素驱动下,人工智能的工业老练度正不断提高,一起,越来越多的人工智能....

  现在,巨额的研制本钱以及绵长的研制周期正越来越成为药企研制立异时的“绊脚石”。有数据显现,现在一款新....

  2020年12月30日,广东省电子信息职业协会陈伟杰副秘书长造访协会会员单位——广州三尺信息科技有限....

  清华大学战略与安全研讨中心主任、人工智能世界管理研讨院声誉院长傅莹和布鲁金斯学会主席约翰·艾伦(Jo....

  人工智能专业包括哪些专业?人工智能专业相关研讨方向有许多分支学科,包括形式辨认与智能体系、核算机运用....

  文森特·穆勒在宗旨讲演中,分红两步介绍了超级智能和通用人工智能的长时间危险,即从超级智能到技能奇点,再....

  什么是机器学习?机器学习是英文名称MachineLearning(简称ML)的直译。机器学习触及概率....

  在12月18日举办的开幕式上,联合国副秘书长、联合国秘书长特别参谋法布里齐奥·霍奇尔德(Fabriz....

  截止IPO前,旷视已完结7轮融资,融资总金融挨近13亿美元。 1月12日,我国证监会北京监管局公....

  2020年,数据中心建造被中心正式列入新基建战略,被视为新基建的基础设施、经济高质量开展的数字底座。....

  【HiSpark IPC DIY Camera试用连载 】第二篇 视频的人脸检测

  真实的,ipc自身就带有这个功用,只需摄像头呈现画面,自身就会检测人脸,并且从app上看,还有移动检测功用,现已十分强壮...

  一、新方向:培育真实归于自己的主意和考虑 从中华文化的开展中,《易经》最早观察到宇...

  2017/10/19,谷歌的DeepMind团队在Nature期刊上宣告了一篇文章:“Mastering the game...

  ARM运用软件的开发东西依据功用的不同,别离有编译软件、汇编软件、链接软件、调试软件、嵌入式实时操作体系、函...

  麦肯锡(McKinsey)办法的MECE原則 – 依据MECE准则来拟定厚实的议题开始假定(Initial Hypothesis) – 然...

  前语 我提出一项假定:科学立异才能式微的原因是:缺少假定性考虑习气。 所以提出一项激起立异的战略:推行溯因推理...

  大前研一的书---“考虑的技能”,书中说到改动考虑途径,能观察问题的实质,打破外表的迷思,立异设想源源不绝,又能...