像 ChatGPT 這樣的人工智慧 (AI) 模型運行在演算法上，對數據有很大的興趣，它們透過機器學習來處理數據，但是它們的數據處理能力的限制又如何呢？由北京大學積體電路學院和人工智慧研究院孫忠教授領導的研究人員著手解決限制資料處理的馮諾依曼瓶頸。

在他們的論文中發表在日記中裝置2024年9月12日，團隊研發出雙IMC（記憶體運算）方案，不僅加速了機器學習過程，同時也提高了傳統數據操作的能源效率。

在策劃演算法時，軟體工程師計算機科學家依賴稱為矩陣向量乘法 (MVM) 的數據運算，它支持神經網路。神經網路是一種模擬人腦功能和結構的人工智慧模型中常見的運算架構。

隨著資料集規模的快速成長，計算效能通常受到資料移動以及處理和傳輸資料之間速度不匹配的限制。這被稱為馮諾依曼瓶頸。傳統的解決方案是單記憶體計算（single-IMC）方案，其中神經網路權重儲存在記憶體晶片中，而輸入（例如影像）由外部提供。

然而，單一 IMC 需要注意的是片內和片外資料傳輸之間的切換，以及數位類比轉換器 (DAC) 的使用，這會導致電路佔用空間較大和功耗較高。

為了充分發揮 IMC 原理的潛力，團隊開發了一種雙 IMC 方案，將神經網路的權重和輸入儲存在記憶體陣列中，從而以完全記憶體中的方式執行資料操作。

然後，團隊在電阻式隨機存取記憶體 (RRAM) 裝置上測試了雙 IMC，以進行訊號恢復和影像處理。以下是雙 IMC 方案應用於 MVM 操作時的一些好處：

1. 完全記憶體運算實現了更高的效率，從而節省了片外動態隨機存取記憶體 (DRAM) 和片上靜態隨機存取記憶體 (SRAM) 帶來的時間和能源
2. 透過完全記憶體方式消除了限制因素資料移動，從而優化了計算效能。
3. 由於消除了單 IMC 方案中所需的 DAC，因此生產成本更低。這也意味著節省晶片面積、運算延遲和功耗要求。

隨著需求的快速成長數據-在當今數位時代的處理中，這項研究的發現可能會帶來運算架構和人工智慧的新突破。