根據《財訊》雙週刊報導,9月4日,三星電子總裁暨記憶體業務主管Jung-Bae Lee博士獲邀擔任半導體展大師論壇演講嘉賓,他以四個數字破題探討AI對於如今全球的巨大影響力,接著探討因為AI的未來與記憶體技術的創新。
一開始,Jung-Bae Lee先在螢幕上秀出1966、200、1600、800四個數字,接著要讓與會者來猜猜這四個數字背後的意義?
第一個數字1966年,是指1966年麻省理工學院的維森鮑姆(Joseph Weizenbaum)博士開發出第一個聊天機器人ELIZA。然而快轉到2022年,基於GPT-3.5的ChatGPT被開發出來,其參數數量達到驚人的 1.75 億個。那時起,生成式人工智慧開始迅速改變世界。
200,則是2023年AI加速器進行AI模型訓練時,一天內在GPU和記憶體之間產生的資料量高達200ZB(Zettabyte),這個數字是2019年的六倍,未來這個差距還會持續擴大。
1600,是2024年預估HBM(高頻記憶體)的出貨量,將高達1600 million GB,也就是16億GB的容量規模,這是2016年至2023年八年總和的兩倍之多。
至於數字800的意義,則是預估至2027年市場規模將高達800 billion美元,也就是將從2023年的5300億美元急遽攀升至8000億美元的市場產值;但是在2021年前市場產值要達到5000億美元花了四年的時間。
然而,AI也為記憶體產業帶來新的挑戰,Jung-Bae Lee列出的三大挑戰包括AI模型訓練導致耗電量激增、記憶體頻寬,以及儲存容量已捉襟見肘。
想當然爾,三星也針對AI推出眾多記憶體系列產品,包括DDR、SSD等相關產品線,但當中最引人關注的是今年六月三星發布的技術文獻,也就是一種前瞻性的3D HBM封裝技術。
《財訊》雙週刊指出,在這次大師論壇中,Jung-Bae Lee也首度對外揭櫫3D HBM封裝技術的架構,以及將為AI時代解決記憶體產業面臨的諸多難題。
「這個創新的記憶體架構,類似於V-NAND(三星採用雙次堆疊技術開發的記憶體),但是需要單獨的電容器,這使得堆疊技術具有挑戰性,我們正在開發超越目前2D架構的結構。」Jung-Bae Lee指著螢幕上創新封裝技術架構說。
由於,隨著人工智慧模型的不斷增長,對記憶體頻寬和容量的需求不斷增加,功耗問題也隨之增加,目前的架構很難有效地解決這些需求和問題。後來,三星透過對HBM的功耗進行分析,發現主要的功耗發生在HBM和GPU之間的資料傳輸期間。
《財訊》雙週刊指出,也因此,三星正在考慮引入一種創新結構,透過在 HBM內放置加速器來最大限度地減少GPU和HBM之間的資料傳輸。Jung-Bae Lee自豪地說,2013年,三星在業界率先成功量產V-NAND,創造了歷史;如今,三星透過綁定V-NAND技術可以實現1000 層以上堆疊,並實現16層以下的HBM堆疊,我們正在開發稱為銅混合鍵和(HCB)的下一代堆疊技術。
「生態系範圍內的合作是必須的!」Jung-Bae Lee很肯定地說,三星擁有終極的內部協作,成為全球半導體市場上唯一的整體解決方案提供商,處理從設計和製造一直到封裝的一條龍業務。…(更多精彩內容,詳見《財訊》雙週刊)
文/林苑卿