機器學習正快速成為物聯(lián)網(wǎng)（IoT）設(shè)備不可分割的特征。家用電器開始裝備可以智能地回應(yīng)自然語音的語音驅(qū)動接口。機器人開始通過智能手機相機上的演示視頻學習如何在工廠車間移動材料并為其他機器編程……
　　如何優(yōu)化功率、性能和面積
　　機器學習正快速成為物聯(lián)網(wǎng)（IoT）設(shè)備不可分割的特征。家用電器開始裝備可以智能地回應(yīng)自然語音的語音驅(qū)動接口。機器人開始通過智能手機相機上的演示視頻學習如何在工廠車間移動材料并為其他機器編程。同時，智能手機變得更加智能。這些應(yīng)用都充分利用了迄今為止為成功的復(fù)雜多維數(shù)據(jù)人工智能體系結(jié)構(gòu)——深度神經(jīng)網(wǎng)絡(luò)（DNN）。
　　智能進入前端設(shè)備
　　到目前為止，嵌入式系統(tǒng)DNN技術(shù)應(yīng)用的一個難題一直是它對計算性能的高要求。在輸入數(shù)據(jù)被傳遞到經(jīng)過訓練的DNN進行識別和分析的推理階段，需要的運算量雖然比訓練階段少，但語音、視頻等流數(shù)據(jù)仍然需要每秒數(shù)十億次計算。因此，在很多情況下，處理被轉(zhuǎn)移到有足夠運算能力的云端。但對于前端設(shè)備，這并非理想的解決方案。
　　自動駕駛車輛和工業(yè)機器人等關(guān)鍵任務(wù)，需要利用DNN實時識別物體的能力來提高態(tài)勢感知。但云計算存在延遲、帶寬和網(wǎng)絡(luò)可用性等問題。在此情況下，得不到云端實時響應(yīng)的風險是用戶無力承擔的。
　　隱私是另一個問題。盡管消費者認為智能揚聲器等設(shè)備提供的語音幫助服務(wù)很方便，但他們也越來越擔心，如果他們的語音錄音被定期轉(zhuǎn)移到云端，可能導致個人信息的意外泄漏。隨著配備攝像頭的智能揚聲器和可視機器人助手的出現(xiàn)，這類擔憂將變得更加嚴重。為了安撫客戶，制造商正在研究如何將更多的DNN處理功能遷移到前端設(shè)備。他們所面臨的主要問題是DNN處理不適合傳統(tǒng)嵌入式系統(tǒng)的架構(gòu)。
　　常規(guī)嵌入式處理器不足以應(yīng)對DNN處理
　　對于低功耗設(shè)備，基于CPU和GPU的傳統(tǒng)嵌入式處理器無法有效地承擔DNN工作負載。物聯(lián)網(wǎng)和移動設(shè)備對功率和面積有非常嚴格的限制，而高性能對于實時DNN處理是必要的。電源、性能和面積三要素（簡稱PPA）必須實現(xiàn)化，才能應(yīng)對當前的任務(wù)。
　　解決這些問題的一種方法是為可以訪問芯片內(nèi)置存儲器陣列的DNN處理提供硬件電路引擎。這種方法的問題是開發(fā)人員需要高度的靈活性。每個DNN設(shè)計的結(jié)構(gòu)都需要根據(jù)目標應(yīng)用進行調(diào)整。為語音識別設(shè)計和訓練的DNN的卷積、合并和完全連接層的組合將不同于視頻用途的DNN。由于機器學習仍然是一項不斷發(fā)展的新興技術(shù)，面向未來的解決方案必須具有靈活性。
　　另一種常用的方法是給標準處理單元添加矢量處理單元（VPU），這可以確保更高效的計算以及處理不同類型網(wǎng)絡(luò)的靈活性。但這仍然不夠。對于DNN處理而言，從外部DDR存儲器讀取數(shù)據(jù)是相當耗電的任務(wù)。因此，為了確保整體解決方案，還必須考慮數(shù)據(jù)效率和內(nèi)存訪問。為了限度地提高效率、可擴展性和靈活性，VPU只是AI處理器所需的關(guān)鍵模塊之一。
　　實現(xiàn)帶寬和吞吐量
　　為了滿足這些要求，CEVA創(chuàng)造了一種架構(gòu)，它既可以滿足DNN的性能挑戰(zhàn)，又能保證處理各種嵌入式深度學習應(yīng)用所需的靈活性。 NeuPro AI處理器包括經(jīng)過優(yōu)化的專用深度神經(jīng)網(wǎng)絡(luò)推理硬件引擎，用于處理卷積、完全連接、激活和合并層。此外，它還利用功能強大的可編程VPU來處理未支持層類型和推理軟件執(zhí)行。該架構(gòu)與CEVA深度神經(jīng)網(wǎng)絡(luò)（CDNN）軟件框架配套，該框架可以以圖形化界面即時生成執(zhí)行。
　　

　　                                             圖1：NeuPro靈活的可擴展架構(gòu)適用于各種AI應(yīng)用（）
　　為了確保數(shù)據(jù)效率，CEVA-NeuPro架構(gòu)采用特別技術(shù)化存儲器訪問量并優(yōu)化數(shù)據(jù)在不同層之間的流動。它完全支持即時傳播，并將所有中間網(wǎng)絡(luò)層保留在本地內(nèi)存中，從而實現(xiàn)少的DDR訪問。它使用的另一種技術(shù)是通過盡量重復(fù)使用已加載數(shù)據(jù)來減少從本地內(nèi)存讀取數(shù)據(jù)。這些組件的結(jié)合創(chuàng)造了具有PPA（高性能、低功耗和高面積效率）的完整DNN解決方案。
　

　　                                  圖2：結(jié)合NeuPro引擎和NeuPro VPU的NeuPro AI處理器的結(jié)構(gòu)圖 （）
　　更多的性能優(yōu)化通過對8位和16位運算的兼容實現(xiàn)。某些計算需要16位運算的準確性。在其他情況下，使用8位計算可以獲得幾乎相同的結(jié)果，而且可以大幅減少工作量，從而降低功耗。 NeuPro引擎可以在這些操作之間實現(xiàn)均衡，從而使每個層都得到執(zhí)行，實現(xiàn)兼具高和高性能的兩全其美的結(jié)果。
　

                                                  　　圖3：每層選擇8位或16位計算可確保和性能（）
　　經(jīng)過優(yōu)化的硬件模塊、VPU和高效內(nèi)存系統(tǒng)相結(jié)合，共同創(chuàng)造出靈活高效的可擴展解決方案。此外，CDNN通過一鍵式網(wǎng)絡(luò)轉(zhuǎn)換和隨時可用的庫模塊實現(xiàn)簡化的開發(fā)。所有一切造就了一款性能全面的AI處理器，它賦予物聯(lián)網(wǎng)設(shè)備設(shè)計人員將本地化機器學習充分應(yīng)用到下一代產(chǎn)品中的能力。