DRAM 與 HBM 是什麼: AI 筆記記憶體如何成為全球科技競賽的新戰場
近年來，AI 模型的競爭早已不只是「誰擁有更多參數」，而是「誰能在最短時間內搬運更多資料」。
以大型語言模型（Large Language Models, LLM）為例，一次推論（Inference）過程中，GPU 並不是持續不停地運算，而是不斷在讀取模型權重（Weights）、存取中間運算結果（Activations），以及將資料在不同記憶體層級之間來回傳輸。
這代表，AI 的效能不只取決於 GPU 每秒能完成多少次浮點運算（FLOPS），更取決於資料能否足夠快速地送到 GPU 手中。
近年來，GPU 的運算能力成長速度已遠超過記憶體頻寬（Memory Bandwidth）的提升幅度，因此資料搬運逐漸成為限制 AI 效能的主要瓶頸。即使 GPU 擁有數千 TFLOPS 的算力，如果無法持續取得模型資料，大量運算單元仍可能因等待資料而閒置。電腦架構領域將這種現象稱為 Memory Wall（記憶體牆），也是現代 AI 基礎設施最重要的挑戰之一。
也正因如此，AI 時代真正稀缺的不只是 GPU，更是能夠以極高速度供應資料的記憶體。
筆者透過 AIMochi 筆記工具，整理多方公開資訊和最新報導內容，發現這個看似不起眼的瓶頸，正在改寫整個半導體產業的競爭規則。
記憶體牆是什麼?
過去二十年，全球晶片競賽的焦點大多圍繞著 CPU 與 GPU。
誰擁有更多核心（Core）？
誰的製程更先進？
誰能提供更高的每秒浮點運算能力（FLOPS）？
然而，當 AI 模型規模呈現指數型成長後，人們逐漸發現，即使 GPU 擁有驚人的運算能力，如果資料無法及時送到 GPU 手中，再快的晶片也只能「等待」。
這種現象，在電腦科學中被稱為 Memory Wall（記憶體牆）——也就是處理器運算速度持續提升，但記憶體存取速度卻無法同步跟上的瓶頸。多年來，學界一直將記憶體延遲（Memory Latency）視為現代電腦系統的重要限制之一，而這個問題在 AI 時代變得更加明顯。
以 NVIDIA 的 AI GPU 為例。
一顆現代 AI GPU 每秒可以完成數兆次，甚至數千兆次的運算，但若資料必須不斷往返於 GPU 與一般 DRAM 之間，就像一級方程式賽車每隔幾秒都得停下來補給燃料，再強大的引擎也無法發揮真正的速度。
因此，AI 時代真正需要的不只是更快的 GPU，而是一種能夠以極高速度持續餵資料給 GPU 的新型記憶體。
於是，高頻寬記憶體（High Bandwidth Memory, HBM）開始走向舞台中央。
HBM如何變要角?
令人意外的是，HBM 並不是一項新技術。
早在十多年前，業界便開始研究如何透過 3D 堆疊（3D Stacking）與矽穿孔（Through-Silicon Via, TSV）等先進封裝技術，提高記憶體的頻寬，同時降低功耗。
然而，在當時的市場環境中，HBM 成本高昂、製造複雜，加上大多數應用並不需要如此龐大的資料吞吐量，因此始終屬於高效能運算（HPC）等利基市場。
真正改變一切的，並非 HBM 本身，其實還是 AI。
大型語言模型需要在極短時間內存取數百 GB 甚至數 TB 的模型權重與中間資料，如果資料傳輸速度不足，再昂貴的 GPU 也只能閒置等待。
這使得 HBM 從過去的小眾技術，一躍成為 AI 基礎設施中不可或缺的關鍵元件。如今，HBM3E 已可提供每堆疊超過 1.2 TB/s 的記憶體頻寬，遠高於傳統記憶體，並成為訓練與推論大型 AI 模型的重要基礎。
今天，全球最具價值的科技公司，不再只是比誰能設計更強大的 GPU。
更重要的是，誰能取得足夠的 HBM。
近年來，SK hynix、Samsung 與 Micron 已成為全球 AI 記憶體市場的三大核心供應商，而 NVIDIA、AMD 等 AI 晶片公司，也高度依賴這些高頻寬記憶體產品來支撐新一代 AI 平台。隨著生成式 AI 持續推升需求，HBM 已從單純的記憶體產品，演變為影響 AI 基礎設施與半導體供應鏈的重要戰略資源。
然而，一個更根本的問題也隨之浮現：
DRAM 與 HBM，到底是什麼？
它們都是記憶體，為什麼價格、架構、用途卻截然不同？
DRAM 是什麼？從一顆電容開始，撐起整個數位世界
如果把 CPU 比喻為人的大腦，那麼 DRAM（Dynamic Random Access Memory，動態隨機存取記憶體）就是大腦的工作記憶（Working Memory）。
當你閱讀一篇文章、打開瀏覽器、編輯影片，甚至與 ChatGPT 對話時，真正負責暫時保存資料、讓處理器能快速存取資訊的，不是 SSD，也不是硬碟，而是 DRAM。
幾乎所有現代電子設備，從智慧型手機、筆記型電腦、遊戲主機，到雲端資料中心與 AI 伺服器，都離不開 DRAM。
然而，令人意外的是，這項支撐全球數位經濟超過半世紀的核心技術，其基本原理其實非常簡單。
DRAM 的誕生：為什麼需要一種新的記憶體？
回到 1960 年代，當時的電腦仍主要依賴磁芯記憶體（Magnetic Core Memory）儲存資料。
雖然磁芯記憶體穩定可靠，但它有幾個致命缺點：
-
體積龐大
-
製造成本高
-
功耗較高
-
容量難以提升
-
無法滿足積體電路快速微型化的需求
隨著半導體技術快速發展，工程師開始思考：
能否利用矽晶片，製造出容量更大、成本更低、速度更快的記憶體？
1968 年，IBM 研究員 Robert H. Dennard 提出了革命性的 單電晶體（1T1C，One Transistor One Capacitor）DRAM Cell 架構。這項發明大幅簡化了記憶體單元設計，讓每一個位元（Bit）只需一個電晶體與一個電容即可儲存資訊，為現代 DRAM 奠定基礎。隔年，IBM 發表相關技術成果，並逐漸推動 DRAM 商業化，之後成為全球記憶體產業的主流架構。
這項看似簡單的創新，卻徹底改變了全球半導體產業。
直到今天，全球幾乎所有 DRAM 晶片，仍然建立在 Dennard 提出的核心概念之上。
DRAM 與 HBM 的真正差別是什麼?
很多人認為，HBM 是 DRAM 的升級版。
事實上，HBM 本質上仍然是一種 DRAM。
它同樣利用電容（Capacitor）儲存資料、需要定期刷新（Refresh），也屬於揮發性記憶體（Volatile Memory）。
簡而言之，HBM 並沒有改變 DRAM 的儲存原理，而是重新設計了記憶體與處理器之間的連接方式。
真正的差異在於，它們誕生時要解決的是兩個截然不同的工程問題。
傳統 DRAM 的設計目標，是以最低成本提供最大的記憶體容量。因此，它通常透過 DIMM 模組安裝在主機板上，並藉由記憶體匯流排與 CPU 或 GPU 通訊。這種架構適合個人電腦、伺服器與一般雲端運算，能以相對低廉的成本擴充至數十 GB 甚至數 TB 的容量。
HBM 的設計目標則完全不同。
它並不是為了追求更大的容量，而是為了解決 AI、高效能運算（HPC）與科學模擬中最棘手的問題：如何在極短時間內，持續向處理器提供海量資料。
因此，HBM 並沒有改變記憶體本身，而是改變了資料傳輸架構。
HBM 的創新，不在記憶體，而在「距離」
如果說 DRAM 像是一座距離工廠數公里的物流倉庫，那麼 HBM 更像是一座直接建在工廠旁邊的自動化倉儲。
兩者存放的是同樣的貨物，但最大的差別，在於資料搬運的距離與效率。
傳統 DRAM 安裝在主機板上，處理器必須透過數公分長的電路板走線（PCB Traces）與記憶體交換資料。隨著傳輸距離增加，訊號完整性、功耗與頻率都會受到限制，因此很難無限制地提升頻寬。
HBM 則完全改變了這種架構。
它將多層 DRAM 晶片垂直堆疊（3D Stacking），並利用矽穿孔（Through-Silicon Via, TSV）技術建立數千條垂直連接，再透過矽中介層（Silicon Interposer）直接與 GPU 封裝在一起。
這意味著，資料不再需要穿越整塊主機板，而是在封裝內完成高速交換，大幅縮短傳輸距離、降低功耗，同時提供遠高於傳統 DRAM 的記憶體頻寬。
因此，HBM 的核心創新不是更會儲存資料，而是更會搬運資料。
AI 時代真正競爭的，看似容量，其實是資料吞吐量
在 AI 訓練與推論中，GPU 並不是一直在做複雜運算。
更多時候，它是在等待模型權重（Weights）、注意力機制（Attention）計算所需的中間結果，以及 KV Cache 等資料持續送入運算核心。
因此，真正限制 AI 效能的往往不是 GPU 的算力，而是記憶體每秒能提供多少資料，也就是所謂的記憶體頻寬（Memory Bandwidth）。
這也是為什麼近年來，NVIDIA、AMD 以及其他 AI 晶片廠商幾乎全面採用 HBM，而不是持續增加傳統 DRAM 的數量。對於大型 AI 模型而言，如果資料無法及時送達，再強大的 GPU 也只能等待，昂貴的運算資源將因此閒置。
以上僅供參考與資訊分享之用!若想快速了解更多資訊，透過 AIMochi 台灣本土筆記工具，幫我們從海量資料中，梳理出關鍵資訊，讓我們精準掌握重要訊息!