讓FPGA替代GPU,你會(huì)有怎樣的顧慮?
這幾天,已經(jīng)退役的AlphaGo又強(qiáng)行刷了一波頭條,不是又跟哪位世界高手對決,而是“新狗”通過無監(jiān)督式學(xué)習(xí),僅用3天時(shí)間就戰(zhàn)勝了李世石版的AlphaGo,然后用了21天時(shí)間戰(zhàn)勝了柯潔版本AlphaGo。AlphaGo讓我們真真切切地看到了AI計(jì)算的強(qiáng)大。
目前,在AI計(jì)算平臺(tái)使用最廣泛的兩種加速部件是GPU和FPGA。GPU可適用于具備計(jì)算密集、高并行、SIMD(SingleInstructionMultipleData,單指令多數(shù)據(jù)流)應(yīng)用等特點(diǎn)的深度學(xué)習(xí)訓(xùn)練模型領(lǐng)域,并且GPU創(chuàng)建了包含CNN、DNN、RNN、LSTM以及強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)等算法在內(nèi)的應(yīng)用加速平臺(tái)和生態(tài)系統(tǒng)。
但是,最近FPGA又頻頻被各AI領(lǐng)域的巨頭看好,比如微軟、百度、科大訊飛都對FPGA應(yīng)用前景有所期待。那么如果讓你選擇FPGA作為AI計(jì)算系統(tǒng)的主力軍,你會(huì)有什么樣的顧慮?
顧慮一:FPGA有啥優(yōu)勢?什么樣的場景更適合FPGA?
首先,深度學(xué)習(xí)包含兩個(gè)計(jì)算環(huán)節(jié),即訓(xùn)練和推理環(huán)節(jié)。GPU在深度學(xué)習(xí)算法模型訓(xùn)練上非常高效,但在推理時(shí)對于小批量數(shù)據(jù),并行計(jì)算的優(yōu)勢不能發(fā)揮出來。而FPGA同時(shí)擁有流水線并行和數(shù)據(jù)并行,因此處理任務(wù)時(shí)候延遲更低。例如處理一個(gè)數(shù)據(jù)包有10個(gè)步驟,F(xiàn)PGA可以搭建一個(gè)10級流水線,流水線的不同級在處理不同的數(shù)據(jù)包,每個(gè)數(shù)據(jù)包流經(jīng)10級之后處理完成。每處理完成一個(gè)數(shù)據(jù)包,就能馬上輸出。通常來說,F(xiàn)PGA加速只需要微秒級的PCIe延遲。當(dāng)Intel推出通過QPI快速通道互聯(lián)的Xeon+FPGA之后,CPU和FPGA之間的延遲甚至可以降到100納秒以下。
其次,F(xiàn)PGA是可編程芯片,算法燒錄更加靈活。目前來看,深度學(xué)習(xí)算法還未完全成熟,算法還在迭代衍化過程中,若深度學(xué)習(xí)算法發(fā)生大的變化,F(xiàn)PGA是軟件定義硬件,可以靈活切換算法,快速切入市場。
未來至少95%的機(jī)器學(xué)習(xí)計(jì)算都是用于推斷,只有不到5%是用于模型訓(xùn)練,而FPGA正是強(qiáng)在推斷。大幅提升推斷效率的同時(shí),還能最小限度損失精確性,這正是FPGA的強(qiáng)項(xiàng)。
責(zé)任編輯:任我行
-
碳中和戰(zhàn)略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國家發(fā)改委、國家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè)
-
碳中和戰(zhàn)略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
深度報(bào)告 | 基于分類監(jiān)管與當(dāng)量協(xié)同的碳市場框架設(shè)計(jì)方案
2020-07-21碳市場,碳排放,碳交易 -
碳市場讓重慶能源轉(zhuǎn)型與經(jīng)濟(jì)發(fā)展并進(jìn)
2020-07-21碳市場,碳排放,重慶
-
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國家發(fā)改委、國家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
2020年二季度福建省統(tǒng)調(diào)燃煤電廠節(jié)能減排信息披露
2020-07-21火電環(huán)保,燃煤電廠,超低排放
-
四川“專線供電”身陷違法困境
2019-12-16專線供電 -
我國能源替代規(guī)范法律問題研究(上)
2019-10-31能源替代規(guī)范法律 -
區(qū)域鏈結(jié)構(gòu)對于數(shù)據(jù)中心有什么影響?這個(gè)影響是好是壞呢!