草莓视频下载app,深夜草莓视频app,草莓视频app无限观看,草莓视频下载app


資訊中心

英國AI芯片獨角獸勇闖中國!搭上阿裏百度,揭秘硬核技術

2020-06-29 08:50:42來源:芯東西 閱讀量:16311

分享:
導讀:2020年的突發事件撥亂了太多産業的陣腳,AI芯片産業也似乎熱度漸熄。一家英國AI芯片創企卻在這一時期,穩穩地切入國內科技巨頭阿裏和百度的生態圈。
  2020年的突發事件撥亂了太多産業的陣腳,AI芯片産業也似乎熱度漸熄。一家英國AI芯片創企卻在這一時期,穩穩地切入國內科技巨頭阿裏和百度的生態圈。
 
  就在今年5月,成立剛滿四年的英國初創公司Graphcore分別公布和阿裏巴巴、百度合作的新動向。阿裏宣布Graphcore支持ODLA的接口標准,百度宣布Graphcore成爲飛槳硬件生態圈的創始成員之一。
 
  同月,在英国Intelligence Health峰会上,微软机器学习科学家分享用Graphcore的IPU芯片训练微软COVID-19影像分析算法CXR,能够在30分钟之内完成在NVIDIA GPU上需要5个小时的训练工作量。
 
  也是在这个月,英伟达(NVIDIA)为AI和数据科学打造的最强GPU A100横空出世,给布局云端AI芯片市场的其他公司带来新的压力。
 
  不過Graphcore顯得相對淡定。Graphcore高級副總裁兼中國區總經理盧濤相信,即便是Graphcore第一代IPU産品也不會輸于A100,今年他們還將發布下一代7nm處理器
 
  Graphcore的自信并非空穴来风,凭借创新芯片架构IPU,这家成立刚满四年的英国初创公司,不仅有DeepMind联合创始人Demis Hassabis、剑桥大学教授兼Uber首席科学家Zoubin Ghahramani、加州大学伯克利教授Pieter Abbeel、OpenAI多位联合创始人等多位AI大牛为其背书,还吸引到微软、博世、戴尔、三星、宝马等巨头注资。
 
  這樣一個在AI芯片界猛刷存在感的明星創企,背後有著怎樣的底氣?
 
  近日,Graphcore高级副总裁兼中国区总经理卢涛、 Graphcore销售总监朱江第一次在中国详尽地介绍了Graphcore的核心芯片架构及产品、配套软件工具链,并分享了其芯片在五类垂直场景的应用实例及性能表现。
 
  一、英國小鎮裏誕生的AI芯片獨角獸
 
  2012年1月,雪后的英国小镇巴斯,Nigel Toon与Simon Knowles正在讨论一个改变AI芯片架构的创新设想。
 
  經過四年模擬了數百種芯片布局的計算機測試方法,兩人于2016年6月在英國布裏斯托成立AI芯片公司Graphcore,此後繼續處于神秘的研發狀態。
 
  知名資本伸出的橄榄枝,使得這家創企始終處于聚光燈下,寶馬、博世、戴爾、微軟、三星等巨頭紛紛參與投資,至今Graphcore累計融資超過4.5億美元,整體估值約爲19.5億美元。
 
  不僅如此,數位AI大牛對其IPU芯片架構贊譽有加。
 
  英國半導體之父、Arm聯合創始人Hermann爵士曾評價說:“在計算機曆史上只發生過三次革命,一次是70年代的CPU,第二次是90年代的 GPU,而Graphcore就是第三次革命。”
 
  AI教父Geoff Hinton教授也说过:“我们需要不同类型的计算机来处理一些新的机器学习的系统。”他指出IPU就是这样一个系统。
 
  到2019年11月,Graphcore潜心打造的IPU产品官宣量产,随后与微软、百度、Qwant、Citadel、帝国理工学院、牛津大学等多个合作伙伴、雲計算厂商、研究实验室以及高校等展开了相关合作。
 
  如今,Graphcore所做的産品包括了硬件、軟件和IPU的系統解決方案。
 
  IPU是Graphcore专为机器智能设计的创新處理器架构,宣称在现有及下一代模型上,性能远超NVIDIA V100 GPU。
 
  例如它能將自然語言處理(NLP)處理速度可提升20%-50%,爲圖像分類帶來6倍的吞吐量而且是更低的時延,在一些金融模型方面訓練速度能夠提高26倍以上。
 
  目前IPU已实现量产,通过访问微软Azure等雲計算平台,或者购买戴尔服务器等产品,均可获取IPU资源。在国内,Graphcore也正在与金山云合作,拟上线一个针对中国开发者和创新者的云业务。
 
  除了芯片産品走向落地,在過去6-12個月,Graphcore在全球版圖快速鋪開,迄今有全球員工450人,分布在北京、上海、深圳、台北、布裏斯托、倫敦、劍橋、挪威、奧斯陸、西雅圖、帕拉奧圖、紐約、奧斯汀、東京、首爾等地。
 
  二、以計算圖爲表征的創新AI芯片架構
 
  Graphcore的自研芯片架构诞生的背景,源于过去几年AI算法模型规模呈指数级增长,需要更适宜的全新處理器架构。
 
  相較傳統科學計算或高性能計算(HPC),AI或者說機器智能有一些特性,包括大規模並行就散、稀疏數據結構、低精度計算,以及在訓練推理過程中的數據參數複用、靜態圖結構。
 
  Graphcore IPU即是针对计算图的处理设计而成,相比传统智能處理器,IPU有三个核心区别:采用MIMD架构、所有模型在片内处理、可解决大规模并行计算處理器核之间的通信效率。
 
  具體而言,IPU采用大規模並行MIMD的處理核,抛棄了外部DDR,在片內做到300MB的大規模分布式片上SRAM,以打破內存帶寬對整體性能構成的瓶頸。
 
  相較CPU的DDR2子系統或是GPU的GDDR、HBM來說,IPU這一設計可將性能提升10-320倍。與訪問外存相比較,時延基本爲1%,可忽略不計。
 
  当前已量产的IPU處理器为GC2,拥有256亿个晶體管,在120瓦功耗下,混合精度算力可達125TFLOPS。
 
  GC2采用台积电16nm工艺,片内包含1216个独立的IPU處理器核心(Tile),整个GC2包含7296个线程,支持7296个程序并行运行。其内存带宽为45TB/s、片上交换是8TB/s,片间IPU-Links为2.5Tbps。
 
  爲了解決並行硬件的高效編程問題,IPU通過硬件支持BSP協議,並通過BSP協議把整個計算邏輯分成了計算、同步、交換。
 
  這對軟件工程師和開發者來說非常易于編程,因爲不必處理locks這個概念,也不必管任務具體在哪個核上運行。
 
  目前IPU是世界上目前第一款BSP處理器,BSP技术在谷歌、Facebook、百度之类的大规模数据中心均有使用。
 
  盧濤介紹說,IPU重點面向雲端訓練以及對精度和延時要求高的推理場景,還有一些訓練和推理混合的場景。
 
  在精度方面,IPU當前不支持整數int8,主要支持FP16、FP32以及混合精度。
 
  當前應用較大的主流計算機視覺類模型以int8爲主,而自然語言處理推理以FP16、FP32爲主流數據格式,IPU使用FP16精度在ResNeXt、EfficientNet等新興視覺模型中性能功耗比同樣具有優勢。
 
  未來,Graphcore的推進策略還是訓練和推理並行,但會更聚焦于一些對精度和時延要求更低、對吞吐量要求更高的場景。另外,他們也看到在推薦算法等應用出現一些希望同時實現訓練和推理的需求。
 
  三、軟件支持容器化部署,上線開發者社區
 
  硬件芯片架構是基礎,而軟件則是提升用戶體驗的關鍵利器。
 
  對于AI芯片來說,芯片研發出來只是第一部分,要能落地到産業中,還需展現出色的可移植性、可開發性、可部署性,能提供完善的工具鏈和豐富的軟件庫,可實現與主流機器學習框架無縫銜接,而整個鏈條全部打通需要非常大的投入。
 
  今年5月26日,全球知名科技分析机构Moor Insights & Strategy曾发表了一篇研究论文 《Graphcore的软件栈:Build To Scale》,其中写道:“Graphcore是我们目前已知的唯一一家将产品扩展到囊括如此庞大的部署软件和基础架构套件的初创公司。”
 
  盧濤認爲,對于AI芯片來說,真正商業化的衡量標准在于三點:是否有平台化軟件的支持、是否有大規模商用部署軟件的支持、是否能實現産品化的部署。
 
  对此,Graphcore的Poplar SDK提供了完整的软件堆栈来执行其计算图工具链,有四个主要特性:
 
  (1)開放且可擴展的Poplar庫:目前已提供750個高性能計算元素的50多種優化功能,修改和編寫自定義庫。
 
  (2)直接部署:支持容器化部署,可快速啓動並且運行。標准生態方面,可支持Docker、Kubernetes,還有像微軟的Hyper-v等虛擬化的技術和安全技術。
 
  (3)机器学习框架支持:支持TensorFlow 1、TensorFlow 2、ONNX和PyTorch等标准机器学习框架,很快也将支持百度飞桨。
 
  (4)標准生態支持:通過微軟Azure部署、Kubernetes編排、Docker容器以及Hyper-V虛擬化和安全性,已生産就緒。
 
  目前Poplar SDK支持最主要的三个Linux操作系統发行版本:ubuntu、RedHat Enterprise Linux、CentOS。
 
  ubuntu是迄今在AWS上最流行的一个操作系統,RedHat Enterprise Linux对一些企业级用户做私有云非常重要,而CentOS在中国互联网公司中应用广泛。
 
  今年5月,Graphcore推出分析工具PopVision Graph Analyser,并上线Poplar开发者文档和社区。
 
  使用IPU編程時,可借助PopVision可視化圖形展示工具來分析軟件運行的情況、效率調試調優等。
 
  Poplar开发者文档和社区中提供了大量的Poplar user guide和文档。开发者可通过www.graphcore.ai/developer访问。
 
  此外,Graphcore在Stack Overflow上也有针对IPU开发者的知识门户网站,并在知乎上开辟了新的创新者社区,未来通过知乎将更多深度文章呈现给开发者和用户。
 
  據盧濤介紹,有些國內用戶反饋,認爲Poplar的應用性優于CUDA,執行同樣的任務,在Poplar上開發速度更快。
 
  四、案例源代碼可下載,秀五大垂直應用
 
  當前基于IPU的應用已覆蓋了機器學習的各個應用領域,包括自然語言處理(NLP)算法、圖像/視頻處理、時序分析、推薦/排名以及概率模型。
 
  这些应用案例和模型已在TensorFlow、ONNX和Graphcore PopARTTM上可用,所有源代码均可在Github上下載。
 
  相较NVIDIA V100,IPU在自然语言处理、概率算法、计算机视觉算法等应用均展现出性能优势。
 
  例如訓練BERT,在NVLink-enabled的平台上大約要50多小時才能做到一定精度,而在基于IPU的戴爾DSS-8440服務器上只需36.3小時,速度提高25%。
 
  做BERT推理時,同一時延,IPU吞吐量比V100高一倍;在訓練MCMC時,IPU可將性能提升至V100的26倍。
 
  運行ResNeXt推理時,IPU可實現6倍的吞吐量和1/22的延時。一些搜索引擎公司、醫療影像公司用戶已通過IPU來使用ResNeXt的服務。
 
  Graphcore销售总监朱江分享了IPU在金融、医疗、电信、機器人、云与互联网等五类垂直领域的应用实例。
 
  1、金融:LSTM推理性能提升260倍
 
  IPU在算法交易、投資管理、風險管理及詐騙識別領域等主要金融領域均表現出顯著優勢。
 
  例如在推理方面,延遲性能不變時,IPU可將長短期記憶(LSTM)模型吞吐量提升260倍,對于不可向量化模型亦能取得非常好的效果。
 
  在訓練方面,IPU可將MCMC概率模型的采樣速度提高26倍,可進行阿爾法預測和期權定價,並能將強化學習的訓練速度提升13倍。
 
  采用多层感知器(MLP)预测销售结果时,相较Batch Size为512K的GPU,IPU吞吐量可提升5.9倍以上。
 
  2、醫療和生命科學:影像分析能效提升4倍
 
  醫療和生命科學包括新藥研發、醫學圖像、醫學研究、精准醫療等領域,涉及大量複雜的實驗,加速計算過程對一些醫學成果的更快産出至爲重要。
 
  微软用ResNeXt模型做颅内出血医学影像分析时,使用IPU较V100 GPU速度提高2倍,而功耗仅为V100的一半。
 
  3、電信:加速5G創新應用
 
  在電信領域,智慧網絡、5G創新、預測性維護和客戶體驗方面均可應用IPU帶來加速體驗。
 
  例如,機器智能可幫助分析無線數據的一些變化,運行LSTM模型進行網絡流量矩陣預測時,采用IPU性能比GPU提升超過260倍。
 
  網絡切片和資源管理是5G中的一個特色,需要大量學習沒被標記過的數據,需要應用強化學習模型,而在IPU上運行強化學習,訓練吞吐量相較GPU最多可提高13倍。
 
  4、機器人:解决经典光束法平差加速问题
 
  在機器人领域,伦敦帝国理工学院Andrew Davison教授带领的機器人视觉小组在今年3月发表的论文中采用IPU来开发新算法,用以优化空间人工智能的效率。
 
  相较使用Ceres中央處理器库的1450毫秒,IPU處理器仅在40毫秒内就解决了真正的光束法平差(Bundle Adjustment)这一经典的计算机视觉问题。
 
  5、雲與互聯網:通過微軟Azure開放
 
  雲與互聯網是Graphcore早期及現在一直主要推廣的一個重要領域。
 
  當前微軟在Azure公有雲上已面向全球客戶開放IPU公有雲服務。此外,微軟在一些自然語言處理、計算機視覺應用中已使用IPU實現加速。
 
  另外歐洲搜索引擎公司也使用IPU進行ResNeXt模型推理,做了一個搜圖識別應用,將性能提升3.5倍以上。
 
  結語:即將接受中國市場的檢驗
 
  今年疫情拖累全球許多行業的發展,但在盧濤看來,AI領域非但不會走向低潮,反而會有很大發展,尤其是自然語言處理類算法的發展會催生大量新應用。
 
  疫情在全球範圍內推動了數字化的加速,亦會推動數據中心等算力基礎設施的建設進程。
 
  盧濤認爲,2020年是對AI芯片非常關鍵的一年,如果企業拿不出AI芯片産品,或者對軟件不夠重視,對後續持續化投入或將是很大的挑戰。
 
  從Graphcore與阿裏、百度的合作來看,該公司今年在中國市場的推進明顯提速。
 
  盡管Graphcore在中國市場的整體啓動較北美地區晚了一年左右,但盧濤期望,中國市場能在Graphcore全球市場占比達40%-50%。
 
  此外,Graphcore也希望針對中國市場的需求,做産品的定制化演進。
 
  據盧濤介紹,Graphcore有兩支技術團隊,一個是以定制開發爲主的工程技術團隊,另一個是以對用戶的技術服務爲主的現場應用團隊。
 
  其中工程技術團隊承擔兩個方面的工作:一是根據中國本地AI應用的特點及需求,將一些AI算法模型在IPU上實現落地;二是根據中國本地用戶對于AI的穩定性學習框架平台軟件方面的需求,做功能性的一些開發加強的工作。
 
  從上述種種應用案例來看,Graphcore已初步證明其創新IPU架構在多類AI應用上的出色訓練和推理表現。而Graphcore還會繼續“練內功、打基礎”,攻克技術難題,加固技術實力。
 
  不過芯片和相關軟件工具的落地只是第一步,真正商業化戰果如何,還要看市場給出的回音。

我要評論

文明上網,理性發言。(您還可以輸入200個字符)

所有評論仅代表网友意见,与本站立场无关。

相關新聞

我國AI芯片發展現狀與前景如何? 2020-03-10 08:50:37
據賽迪顧問預計,未來三年AI芯片市場規模仍將保持50%以上的增長速度;2020年中國AI芯片市場將保持56.1%的增長,達到193.7億元的市場規模。
一周趣評:寒武紀擬科創板上市,蔚來獲巨額融資 2020-03-06 14:31:44
戏说一周趣事,秒知行业大势。大家好,欢迎大家来到本周的《一周趣评》。2020年3月2日—6日,阳春三月迎来了第一周,也是属于智造行业的精彩一周,那么本周機器人、无人机、人工智能、自动驾驶等领域都展现出了哪些有趣动态和精彩故事呢?我们一起来看一看吧!
寒武纪拟科创板上市 AI芯片发展前景几何? 2020-03-02 11:55:57
隨著人工智能市場加速擴張,AI芯片企業的發展也迎來了“黃金期”。據北京證監局消息,寒武紀已經與中信證券簽署了IPO輔導協議,准備在科創板上市。

版權與免責聲明:凡本网注明“来源:智能制造網”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造網合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造網”。违反上述声明者,本网将追究其相关法律责任。

本网转载并注明自其它来源(非智能制造網)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視爲放棄相關權利。

不想錯過最新資訊?

下載智能制造APP

一鍵篩選來訂閱

信息更精准

圖說智能 更多


關于我們|本站服務|會員服務|商站通服務||友情鏈接|誠聘英才|意見反饋|熱詞搜索|頻道

智能制造網 - 工业4.0时代智能制造领域“互联网+”服务平台

Copyright 2020 gkzhan.comAll Rights Reserved法律顾问:浙江天册律师事务所 贾熙明律师

客服熱線:0571-87756395采購熱線:0571-87759926媒體合作:0571-89719789

客服部:采購部:編輯部:展會合作:市場一組:市場二組:

關閉