近期，美光發(fā)布的內(nèi)存和存儲(chǔ)產(chǎn)品組合備受矚目，這些新成就為AI技術(shù)的飛速發(fā)展增添了活力。美光推出的8層堆疊和12層堆疊HBM3E解決方案在業(yè)界引領(lǐng)潮流，其功耗比競(jìng)品低30%。特別引人注目的8層堆疊24GB HBM3E產(chǎn)品將應(yīng)用于NVIDIA H200 Tensor Core GPU中。在最近的Six Five Media節(jié)目中，主持人Daniel Newman（Futurum Group首席執(zhí)行官）和Patrick Moorhead（Moor Insights & Strategy首席執(zhí)行官）與美光產(chǎn)品管理高級(jí)總監(jiān)Girish Cherussery進(jìn)行了視頻訪談。他們深入探討了高帶寬內(nèi)存（HBM）在廣泛市場(chǎng)上的應(yīng)用以及其在當(dāng)今科技領(lǐng)域的多重應(yīng)用。以下是他們的討論回顧，內(nèi)容涉及了HBM的復(fù)雜性、美光如何迎合市場(chǎng)需求以及當(dāng)前內(nèi)存生態(tài)系統(tǒng)的發(fā)展動(dòng)向，同時(shí)，Girish還分享了對(duì)AI內(nèi)存和存儲(chǔ)技術(shù)市場(chǎng)趨勢(shì)的寶貴見解。

高帶寬內(nèi)存（HBM）作為業(yè)界標(biāo)準(zhǔn)的封裝內(nèi)存產(chǎn)品，具有革命性意義。其小巧尺寸下實(shí)現(xiàn)更高的容量和能效。正如Girish在Six Five播客節(jié)目中所指出的，隨著AI應(yīng)用中越來越多復(fù)雜的大型語言模型（LLM）部署，GPU內(nèi)存容量和帶寬不斷受到挑戰(zhàn)。大型語言模型的規(guī)模呈指數(shù)級(jí)增長，超過內(nèi)存容量增長速度，這凸顯了對(duì)內(nèi)存容量不斷增加的需求。

以GPT-3為例，該模型大約有1750億個(gè)參數(shù)，這意味著需要約800GB內(nèi)存及更高的帶寬，以避免性能瓶頸。而最新的GPT-4模型參數(shù)更多（預(yù)計(jì)達(dá)到萬億級(jí)）。傳統(tǒng)方法增加內(nèi)存器件會(huì)導(dǎo)致系統(tǒng)成本劇增。而HBM則提供了一種高效解決方案。美光基于其領(lǐng)先的1β技術(shù)，推出了11mm x 11mm封裝規(guī)格的8或12層24Gb裸片HBM3E內(nèi)存，容量達(dá)24GB或36GB。美光先進(jìn)的設(shè)計(jì)和工藝創(chuàng)新，助力HBM3E實(shí)現(xiàn)超過1.2TB/s的內(nèi)存帶寬和超過9.2Gb/s的引腳速率。正如Girish所言，HBM3E具備16個(gè)獨(dú)立的高頻數(shù)據(jù)通道，如"高速公路車道"，可快速傳輸數(shù)據(jù)，提供所需性能。

美光的HBM3E具有更高的容量和帶寬，縮短了大型語言模型的訓(xùn)練時(shí)間，幫助客戶節(jié)省成本。HBM3E容量更大，支持更大規(guī)模的大型語言模型，有助于避免CPU卸載和GPU之間的通信延遲。HBM3E功耗極低，因?yàn)橹鳈C(jī)和內(nèi)存之間的數(shù)據(jù)路徑較短。通過硅通孔（TSV）與主機(jī)通信，HBM3E的功耗比競(jìng)爭(zhēng)對(duì)手低30%，在每個(gè)內(nèi)存實(shí)例8Gbps速率下，功耗減少30%。以擁有500,000個(gè)GPU的客戶為例，僅5年內(nèi)就能節(jié)省超過1.23億美元運(yùn)營成本。因此，正如Daniel Newman所說，美光的HBM3E內(nèi)存在容量、速度和功耗方面表現(xiàn)出色，對(duì)于數(shù)據(jù)中心的可持續(xù)發(fā)展需求產(chǎn)生積極影響。如需產(chǎn)品規(guī)格書、樣片測(cè)試、采購、BOM配單等需求，請(qǐng)加客服微信：13310830171。