假設我們正在設計一款包含一個或多個處理器內(nèi)核的片上系統(tǒng) (SoC) 設備。我們將在設備內(nèi)部包含相對少量的內(nèi)存，而大部分內(nèi)存將駐留在 SoC 外部的分立設備中。
　　快的存儲器類型是 SRAM，但每個 SRAM 單元需要六個晶體管，因此 SRAM 在 SoC 內(nèi)部很少使用，因為它消耗大量空間和功耗。相比之下，DRAM 每個單元只需要一個晶體管和電容器，這意味著它消耗的空間和功耗要少得多。因此，DRAM 用于在 SoC 之外創(chuàng)建大容量存儲設備。盡管 DRAM 提供高容量，但它的速度明顯慢于 SRAM。
　　隨著用于開發(fā)集成電路的工藝技術的發(fā)展，結構越來越小，大多數(shù)設備變得越來越快。遺憾的是，作為 DRAM 的晶體管電容器位單元卻并非如此。事實上，由于其模擬特性，位單元的速度幾十年來基本保持不變。
　　話雖如此，從外部接口來看，DRAM 的速度在每一代新產(chǎn)品中都翻了一番。由于每次內(nèi)部訪問都相對較慢，因此實現(xiàn)這一點的方法是在設備內(nèi)部執(zhí)行一系列交錯的訪問。如果我們假設我們正在讀取一系列連續(xù)的數(shù)據(jù)字，那么接收個字將需要相對較長的時間，但我們會更快地看到任何后續(xù)的字。
　　如果我們希望傳輸大塊連續(xù)數(shù)據(jù)，這種方法很有效，因為我們在傳輸開始時進行性命中，之后后續(xù)訪問就會高速進行。然而，如果我們希望對較小的數(shù)據(jù)塊執(zhí)行多次訪問，就會出現(xiàn)問題。在這種情況下，我們不是性點擊，而是一遍又一遍地接受該點擊。
　　速度更快
　　解決方案是使用高速 SRAM 在處理設備內(nèi)部創(chuàng)建本地緩存存儲器。當處理器首次從 DRAM 請求數(shù)據(jù)時，該數(shù)據(jù)的副本將存儲在處理器的高速緩存中。如果處理器隨后希望重新訪問相同的數(shù)據(jù)，它會使用其本地副本，這樣訪問速度會快得多。
　　在 SoC 內(nèi)部使用多級緩存是很常見的。這些級別稱為 1 級 (L1)、2 級 (L2) 和 3 級 (L3)。級高速緩存的容量，但訪問速度，隨后的每都具有較高的容量和較低的訪問速度。如圖1所示，假設系統(tǒng)時鐘為 1 GHz 且采用 DDR4 DRAM，則處理器訪問 L1 緩存只需 1.8 ns，訪問 L2 緩存只需 6.4 ns，訪問 L3 緩存只需 26 ns。從外部 DRAM 訪問一系列數(shù)據(jù)字中的個數(shù)據(jù)需要花費 70 納秒（數(shù)據(jù)來源Joe Chang 的服務器分析）。

　　圖 1概述了 1 GHz 時鐘和 DDR4 DRAM 的高速緩存和 DRAM 訪問速度。動脈
　　緩存在人工智能中的作用
　　人工智能的實施和部署場景多種多樣。就我們的 SoC 而言，一種可能性是創(chuàng)建一個或多個 AI 加速器 IP，每個都包含自己的內(nèi)部緩存。假設我們希望保持緩存一致性，我們可以將其視為與 SoC 處理器集群保持所有數(shù)據(jù)副本相同。然后，我們必須使用一致性互連形式的硬件緩存一致性解決方案，例如 AMBA 規(guī)范中定義的 CHI，并受到 Arteris IP 的 Ncore 片上網(wǎng)絡 (NoC) IP 的支持（圖2a） 。

　　圖 2上圖顯示了 AI 上下文中的緩存示例。動脈
　　維護緩存一致性會帶來一定的開銷。在許多情況下，人工智能加速器不需要保持與處理器集群相同程度的緩存一致性。例如，可能只有在加速器處理完大塊數(shù)據(jù)后，才需要重新同步，這可以在軟件控制下實現(xiàn)。AI 加速器可以采用更小、更快的互連解決方案，例如 Arm 的 AXI 或 Arteris 的 FlexNoC（圖 2b）。
　　在許多情況下，加速器 IP 的開發(fā)人員在其實現(xiàn)中不包括緩存。有時，直到性能評估開始才認識到對緩存的需求。一種解決方案是在 AI 加速器和互連之間添加特殊的緩存 IP，以提供 IP 級性能提升（圖 2c）。另一種可能性是使用緩存 IP 作為緩存來提供 SoC 級性能提升（圖 2d）。緩存設計并不容易，但設計人員可以使用可配置的現(xiàn)成解決方案。
　　許多 SoC 設計人員傾向于僅在處理器和處理器集群的背景下考慮緩存。然而，緩存的優(yōu)勢同樣適用于許多其他復雜的IP，包括AI加速器。因此，以 AI 為中心的 SoC 的開發(fā)人員越來越多地評估和部署各種支持緩存的 AI 場景。