基于全新一代“邃思”推理芯片，滿足云端AI業(yè)務高吞吐、低延時的極致性能需求

 

燧原科技發(fā)布第二代云端人工智能推理加速卡“云燧 i20 ” ——這是時隔僅五個月，繼今年7月發(fā)布云端人工智能訓練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對云端推理場景的AI加速產(chǎn)品。

 

燧原科技發(fā)布第二代人工智能推理加速卡“云燧i20”

作為全新一代云端AI推理加速產(chǎn)品，云燧i20擁有迄今為止業(yè)內(nèi)最大的AI加速卡存儲帶寬，高達819 GB/s，遠超行業(yè)同類產(chǎn)品水平;同時全面支持從FP32、TF32、FP16、BF16到INT8的計算精度。單精度FP32峰值算力達到32 TFLOPS，單精度張量TF32峰值算力達到128 TFLOPS，整型INT8峰值算力達到256 TOPS。對比第一代推理產(chǎn)品，云燧 i20 將浮點算力提升到1.8 倍，整型算力提升到3.6 倍。

 

燧原科技發(fā)布第二代人工智能推理加速卡“云燧i20”

升級后的“馭算TopsRider”軟件棧，在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優(yōu)化和大規(guī)模算子融合技術，充分釋放了大容量片內(nèi)存儲和高帶寬存儲的利用率，將模型平均性能提升 3.5 倍 ，硬件算力利用率平均提升 2 倍 ;通過升級的編程模型以及算子自動分片、自動生成技術，自定義算子開發(fā)效率翻倍，模型遷移成本大大降低;此外，馭算增強了對動態(tài)性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

在經(jīng)濟效益和部署靈活性層面，基于虛擬化和多實例加速技術，云燧i20能夠?qū)崿F(xiàn)單卡多用戶，同時支持6個業(yè)務互不干擾、安全隔離運行。讓更多云端推理應用同時享受專有的算力加速，為客戶業(yè)務架構帶來輕耦合、靈活可靠的實現(xiàn)方式，顯著提升資源利用率與投入產(chǎn)出比。

 

燧原科技CEO趙立東和COO張亞林發(fā)布第二代云端AI推理產(chǎn)品

“云燧i20的發(fā)布標志著燧原科技在云端AI算力加速領域，從訓練到推理的完整產(chǎn)品線已全面迭代到第二代，能夠以更有競爭力的產(chǎn)品，為互聯(lián)網(wǎng)、智慧城市、智慧政務，以及金融、交通、能源等傳統(tǒng)行業(yè)客戶提供更優(yōu)的AI計算方案。”燧原科技CEO趙立東表示，“當前，我國芯片產(chǎn)業(yè)正處于激烈的成長與蛻變時代，燧原科技以‘做大芯片，拼硬科技’為時代使命，基于原始創(chuàng)新的軟硬件架構，正在不斷加速技術創(chuàng)新與產(chǎn)品迭代。性能趕超業(yè)內(nèi)旗艦GPU的云燧i20正是我們的關鍵成果之一。”

 

超大帶寬推理加速卡，兼具高吞吐、低延時特性

 

目前以語音識別、圖片識別、視頻內(nèi)容分析為主的感知類應用，內(nèi)容推薦和欺詐交易攔截等決策類應用在云端大部分都是以實時在線的方式提供服務;同時神經(jīng)網(wǎng)絡的參數(shù)越來越多，數(shù)據(jù)帶寬需求也越來越高，兼顧高帶寬和低延遲變得至關重要 。云燧i20創(chuàng)新性地采用了高帶寬HBM2E存儲，實現(xiàn)了高達819GB/s的超大帶寬，為各類云端推理業(yè)務提供高吞吐、低延時的性能，保障其準確、平穩(wěn)、高效的運行 。

 

自主創(chuàng)新芯片架構，以更高性價比提供極致化性能

 

新一代“邃思”AI推理芯片采用第二代高性能計算核心和數(shù)據(jù)引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現(xiàn)了與目前業(yè)內(nèi) 7nm GPU 相匹敵的計算能力 。不僅如此，基于12nm成熟工藝帶來的成本優(yōu)勢，使得云燧i20在相同性能表現(xiàn)下更具性價比優(yōu)勢。并且供應鏈體系更加穩(wěn)定成熟，客戶的業(yè)務需求可以得到及時滿足。

 

燧原科技發(fā)布全新一代“邃思”云端AI推理芯片

燧原科技COO張亞林指出：“云燧i20全面提升了算力，在兼顧全精度算力的同時大幅度提高了整型運算，大力加強了模型覆蓋率和泛化支持的能力，在多項基準測試中，其模型性能、能效比均處于國內(nèi)領先水平，可以滿足云端推理業(yè)務高度多樣化的需求。燧原科技目前已經(jīng)擁有第二代的訓練和推理產(chǎn)品，針對客戶的業(yè)務場景提供原始創(chuàng)新的、具有高性能及性價比的‘訓練+推理’完整解決方案，并支持國產(chǎn)服務器和操作系統(tǒng)，可以幫助客戶進行云端系統(tǒng)部署，全面且持續(xù)為客戶創(chuàng)造價值。”

 

產(chǎn)學研協(xié)同，引領原始創(chuàng)新國產(chǎn)AI 算力落地

 

自第一代云端AI推理加速卡“云燧i10”發(fā)布后，燧原科技在構建原始創(chuàng)新的通用算力和自主生態(tài)上付出了卓絕的努力。以其國產(chǎn)AI算力產(chǎn)品為核心，以商業(yè)生態(tài)和科研生態(tài)為支撐，實現(xiàn)燧原科技的云端AI推理產(chǎn)品在互聯(lián)網(wǎng)、金融、政務等多家客戶的商業(yè)落地，并獲得認可。

 

之江實驗室發(fā)展合作部副部長吳麗娟表示：“之江實驗室今年3月與燧原科技成立聯(lián)合研究中心，圍繞人工智能應用場景，共同開發(fā)具有標桿性的技術解決方案，構建開源開放的創(chuàng)新生態(tài)系統(tǒng)。目前，燧原科技的第一代人工智能訓練產(chǎn)品‘云燧T11’正在之江實驗室搭建千卡高性能計算的液冷集群，打造符合國家碳中和政策導向的低碳綠色數(shù)據(jù)中心。未來，我們還會在智能計算的更多領域合作研發(fā)。”

 

上海銀行自貿(mào)區(qū)陳行長表示：“燧原科技的第一代人工智能推理產(chǎn)品云燧i10具有科技獨創(chuàng)性和技術領先優(yōu)勢。上海銀行和燧原科技已經(jīng)簽署了深度戰(zhàn)略合作協(xié)議，在智慧金融領域開展了戰(zhàn)略合作，通過場景化、智能化、融合化的創(chuàng)新產(chǎn)品，將金融科技融入銀行服務的全流程，用便捷流暢的客戶體驗、優(yōu)質(zhì)高效的服務品質(zhì)，實現(xiàn)傳統(tǒng)銀行服務方式的突破式變革。燧原科技將助力上海銀行向?qū)崿F(xiàn)數(shù)字化、智能化轉(zhuǎn)型邁出堅實的一步。”

 

浪潮信息副總裁劉軍表示：“燧原科技是國產(chǎn)人工智能計算芯片的領軍企業(yè)，浪潮信息與燧原科技通過元腦生態(tài)聯(lián)合創(chuàng)新，在AI整機系統(tǒng)、AI算力優(yōu)化、場景方案落地等多方面深入合作。此次云燧i20的發(fā)布，標志著燧原從訓練到推理全面進入2.0時代，這也是國產(chǎn)AI算力發(fā)展的里程碑。我們期待和燧原一起緊密合作，共同推進中國人工智能產(chǎn)業(yè)的快速發(fā)展。”

 

關于燧原科技

 

燧原科技專注人工智能領域云端算力產(chǎn)品，致力為人工智能產(chǎn)業(yè)發(fā)展交付普惠的基礎設施解決方案，提供基于自主知識產(chǎn)權與創(chuàng)新性架構的通用人工智能訓練和推理產(chǎn)品。憑借其高算力、高能效比以及靈活編程，可廣泛應用于互聯(lián)網(wǎng)、金融、交通、能源及新基建等多個行業(yè)。

 

燧原科技攜手業(yè)內(nèi)國際標準組織，秉承開源開放的宗旨，與產(chǎn)業(yè)伙伴一起促進人工智能產(chǎn)業(yè)發(fā)展。

(新媒體責編：zpl05)