由於認知運算需要處理非常大量的數據, 如何有效率的處理這些數據就變得非常重要, 而處理大量數據其中最大挑戰在於現今的計算機架構都是用馮紐曼架構來運行, 但是用馮紐曼架構執行AI應用時, 處理器和記憶體之間需要大量傳輸數據, 而傳輸數據會耗費大量資源, 造成效能不佳.
IBM提出的新架構是透過原本的馮紐曼架構, 加上計算型記憶體單元, 由計算行記憶體單元負責大量的計算任務, 而馮紐曼機器則負責反覆改善準確率, 因此, 系統就擁有高準確率和高效能兩種優勢.
其中該架構的記憶體的裝置, IBM採用了相變記憶體 (Phase-change memory, PCM) , 藉助PCM讀寫速度快的特性, 可以有效率地處理大量的數據, 且不需要將數據傳輸到CPU, 執行的速度會大幅提升, 也會減少資源消耗.
IBM表示, 這樣的架構可以透過計算型記憶體來執行, 不會犧牲整體的準確度, 克服了現在馮紐曼架構耗能的一大挑戰.