近期，美光發(fā)布的內(nèi)存和存儲產(chǎn)品組合備受矚目，這些新成就為AI技術(shù)的飛速發(fā)展增添了活力。美光推出的8層堆疊和12層堆疊HBM3E解決方案在業(yè)界引領(lǐng)潮流，其功耗比競品低30%。特別引人注目的8層堆疊24GB HBM3E產(chǎn)品將應(yīng)用于NVIDIA H200 Tensor Core GPU中。在最近的Six Five Media節(jié)目中，主持人Daniel Newman（Futurum Group首席執(zhí)行官）和Patrick Moorhead（Moor Insights & Strategy首席執(zhí)行官）與美光產(chǎn)品管理高級總監(jiān)Girish Cherussery進(jìn)行了視頻訪談。他們深入探討了高帶寬內(nèi)存（HBM）在廣泛市場上的應(yīng)用以及其在當(dāng)今科技領(lǐng)域的多重應(yīng)用。以下是他們的討論回顧，內(nèi)容涉及了HBM的復(fù)雜性、美光如何迎合市場需求以及當(dāng)前內(nèi)存生態(tài)系統(tǒng)的發(fā)展動向，同時，Girish還分享了對AI內(nèi)存和存儲技術(shù)市場趨勢的寶貴見解。

高帶寬內(nèi)存（HBM）作為業(yè)界標(biāo)準(zhǔn)的封裝內(nèi)存產(chǎn)品，具有革命性意義。其小巧尺寸下實現(xiàn)更高的容量和能效。正如Girish在Six Five播客節(jié)目中所指出的，隨著AI應(yīng)用中越來越多復(fù)雜的大型語言模型（LLM）部署，GPU內(nèi)存容量和帶寬不斷受到挑戰(zhàn)。大型語言模型的規(guī)模呈指數(shù)級增長，超過內(nèi)存容量增長速度，這凸顯了對內(nèi)存容量不斷增加的需求。

以GPT-3為例，該模型大約有1750億個參數(shù)，這意味著需要約800GB內(nèi)存及更高的帶寬，以避免性能瓶頸。而最新的GPT-4模型參數(shù)更多（預(yù)計達(dá)到萬億級）。傳統(tǒng)方法增加內(nèi)存器件會導(dǎo)致系統(tǒng)成本劇增。而HBM則提供了一種高效解決方案。美光基于其領(lǐng)先的1β技術(shù)，推出了11mm x 11mm封裝規(guī)格的8或12層24Gb裸片HBM3E內(nèi)存，容量達(dá)24GB或36GB。美光先進(jìn)的設(shè)計和工藝創(chuàng)新，助力HBM3E實現(xiàn)超過1.2TB/s的內(nèi)存帶寬和超過9.2Gb/s的引腳速率。正如Girish所言，HBM3E具備16個獨立的高頻數(shù)據(jù)通道，如"高速公路車道"，可快速傳輸數(shù)據(jù)，提供所需性能。

美光的HBM3E具有更高的容量和帶寬，縮短了大型語言模型的訓(xùn)練時間，幫助客戶節(jié)省成本。HBM3E容量更大，支持更大規(guī)模的大型語言模型，有助于避免CPU卸載和GPU之間的通信延遲。HBM3E功耗極低，因為主機(jī)和內(nèi)存之間的數(shù)據(jù)路徑較短。通過硅通孔（TSV）與主機(jī)通信，HBM3E的功耗比競爭對手低30%，在每個內(nèi)存實例8Gbps速率下，功耗減少30%。以擁有500,000個GPU的客戶為例，僅5年內(nèi)就能節(jié)省超過1.23億美元運營成本。因此，正如Daniel Newman所說，美光的HBM3E內(nèi)存在容量、速度和功耗方面表現(xiàn)出色，對于數(shù)據(jù)中心的可持續(xù)發(fā)展需求產(chǎn)生積極影響。如需產(chǎn)品規(guī)格書、樣片測試、采購、BOM配單等需求，請加客服微信：13310830171。