<li id="wkceg"></li>
<rt id="wkceg"><delect id="wkceg"></delect></rt>
<bdo id="wkceg"></bdo>
<strike id="wkceg"><acronym id="wkceg"></acronym></strike>

  • 帳號(hào):
    密碼:
    智動(dòng)化 / 文章 /

    生成式AI助功率密集的計(jì)算應(yīng)用進(jìn)化
    [作者 翁鴻裕]   2024年06月13日 星期四 瀏覽人次: [6046]

    訓(xùn)練生成式人工智慧(GenAI)神經(jīng)網(wǎng)路模型通常需要花費(fèi)數(shù)月的時(shí)間,數(shù)千個(gè)基於GPU並包含數(shù)十億個(gè)電晶體的處理器、高寬頻SDRAM和每秒數(shù)太比特的光網(wǎng)路交換機(jī)要同時(shí)連續(xù)運(yùn)行。雖然人工智慧(AI)有望帶來(lái)人類生產(chǎn)力的飛躍,但其運(yùn)行時(shí)能耗巨大,所以導(dǎo)致溫室氣體的排放也顯著增加。


    根據(jù)《紐約時(shí)報(bào)》報(bào)導(dǎo),到2027年,人工智慧伺服器每年的用電量將達(dá)到85至134 兆瓦時(shí)(terawatt),大致相當(dāng)於阿根廷一年的用電量。


    為了應(yīng)對(duì)日益加劇的能耗挑戰(zhàn),AI處理器的供電網(wǎng)路經(jīng)歷了多代的進(jìn)化。這種全面的演進(jìn)發(fā)展涉及電路架構(gòu)、電源轉(zhuǎn)換拓?fù)?、材料科學(xué)、封裝和機(jī)械/熱工程方面的創(chuàng)新。


    生成式AI訓(xùn)練處理器的供電方案負(fù)載點(diǎn)和分比式模式的進(jìn)化

    從2020年到2022年,熱設(shè)計(jì)功率(TDP)幾乎翻了一番,從400W增加到了700W。TDP指標(biāo)是指生成式AI訓(xùn)練應(yīng)用中GPU引擎的連續(xù)功耗。自2022年起,半導(dǎo)體行業(yè)的TDP水準(zhǔn)不斷攀升,到了2024年3月,市場(chǎng)上甚至出現(xiàn)了一款TDP高達(dá)1000W的GPU。



    圖一 : 基於GPU的生成式AI訓(xùn)練處理器晶片複合體,加速器模組(AM)上安裝有高寬頻記憶體(HBM)
    圖一 : 基於GPU的生成式AI訓(xùn)練處理器晶片複合體,加速器模組(AM)上安裝有高寬頻記憶體(HBM)

    用於生成式AI訓(xùn)練的小晶片(chiplet)處理器複合體整合了一個(gè)GPU或ASIC晶片,以及六到八個(gè)高寬頻記憶體(HBM)晶片。採(cǎi)用4奈米CMOS 製程的GPU通常以0.65V的內(nèi)核VDD運(yùn)行,可能包含1000億或更多的電晶體。HBM提供144GB的儲(chǔ)存容量,其工作電壓一般為1.1V或1.2V。該處理器的一個(gè)關(guān)鍵供電特性與人工神經(jīng)網(wǎng)路演算法負(fù)載有關(guān)。對(duì)比處?kù)犊臻f狀態(tài)的GPU和演算法滿載狀態(tài)的GPU,瞬態(tài)電流消耗(dI/dt)差別可能非常大,可能達(dá)到每微秒2000安培或更多。


    此外,該處理器不能容忍較大的電源電壓下沖或過(guò)沖幅值;這些負(fù)載階躍瞬變必須限制在標(biāo)稱VDD的10%以內(nèi)。設(shè)計(jì)用於生成式AI訓(xùn)練處理器的供電解決方案時(shí),由於這些動(dòng)態(tài)操作條件的原因,峰值電流輸送能力通常設(shè)計(jì)為連續(xù)電流輸送能力的兩倍,峰值事件通常持續(xù)數(shù)十毫秒(圖一)。


    對(duì)於CPU、FPGA、網(wǎng)路交換機(jī)處理器以及現(xiàn)在的AI訓(xùn)練和推理晶片發(fā)展最重要的供電架構(gòu)是負(fù)載點(diǎn)(PoL)方法。相較於傳統(tǒng)的多相並聯(lián)電源架構(gòu),分比式PoL電源架構(gòu)實(shí)現(xiàn)了更高的功率和電流密度。這種電源架構(gòu)借鑒了理想變壓器的「匝數(shù)比」概念,通過(guò)分壓實(shí)現(xiàn)電流倍增。電流倍增的可擴(kuò)展性使我們能夠根據(jù)不同的輸出電壓和電流需求,開(kāi)發(fā)一系列全面的PoL轉(zhuǎn)換器。這對(duì)客戶來(lái)說(shuō)至關(guān)重要,因?yàn)楦呒?jí)AI訓(xùn)練處理器的需求正快速變化。



    圖二 : 分比式電源架構(gòu)可以提供超過(guò)1000安培的大電流,並使供電網(wǎng)路的阻抗降低20倍
    圖二 : 分比式電源架構(gòu)可以提供超過(guò)1000安培的大電流,並使供電網(wǎng)路的阻抗降低20倍

    分比式電源架構(gòu)(FPA)—分解為穩(wěn)壓和變壓功能

    生成式AI電源系統(tǒng)設(shè)計(jì)面臨的主要挑戰(zhàn),包括:


    ? 很高的電流輸送能力,範(fàn)圍從500安培到2000安培


    ? 負(fù)載需要出色的動(dòng)態(tài)響應(yīng)


    ? 巨大的PDN損耗和阻抗


    ? 48V母線基礎(chǔ)架構(gòu)的標(biāo)準(zhǔn)化使用,需要從48V轉(zhuǎn)換到1V以下的能力


    要解決這種大電流和高密度負(fù)載點(diǎn)(PoL)問(wèn)題,需要採(cǎi)用不同的方法。先進(jìn)的分比式電源架構(gòu)將穩(wěn)壓和變壓/電流倍增功能進(jìn)行了分解,可將這些供電級(jí)放置在最佳位置,從而達(dá)到最高的效率和功率/電流密度。


    當(dāng)輸入電壓(VIN)等於輸出電壓(VOUT)時(shí),穩(wěn)壓器的效率最高,隨著輸入輸出比的增加,效率逐漸降低。在36至60V的典型輸入電壓範(fàn)圍內(nèi),最佳輸出母線電壓將是48V,而不是中繼母線架構(gòu)(IBA)中常見(jiàn)的傳統(tǒng)12V母線電壓。48V輸出母線所需的電流是12V母線的四分之一(P=VI),而PDN的損耗是電流的平方(P = I2R),這意味著損耗降低至原來(lái)的 1/16。


    因此,先安裝穩(wěn)壓器並將其調(diào)節(jié)至48V輸出,可以實(shí)現(xiàn)最高的效率。穩(wěn)壓器還必須接受有時(shí)低於48V的輸入電壓,這就需要一個(gè)降壓-升壓的功能來(lái)滿足這一設(shè)計(jì)需求。一旦輸入電壓得到了穩(wěn)壓,下一步便是將48V轉(zhuǎn)換為1V。


    在需要為1V負(fù)載供電的情況下,最佳變壓比為48:1。在這種情況下,穩(wěn)壓器將輸入電壓降壓或升壓到48V輸出,再由變壓器將電壓從48降至1V。降壓變壓器以相同的比率加大電流,因此變壓器元件也可以稱為電流倍增器。在這種情況下,1安培的輸入電流將倍增至48安培的輸出電流。為了最大限度地減少大電流輸出的PDN損耗,電流倍增器必須小巧,以便盡可能靠近負(fù)載放置。PRM穩(wěn)壓器和VTM/MCM模組化電流倍增器結(jié)合,構(gòu)成Vicor分比式電源架構(gòu)。這兩個(gè)器件相互合作,各司其職,實(shí)現(xiàn)完整的DC-DC轉(zhuǎn)換功能。


    PRM通過(guò)調(diào)製未穩(wěn)壓的輸入電源提供穩(wěn)壓輸出電壓,即「分比式母線電壓」。該母線供電給VTM,由VTM將分比式母線電壓轉(zhuǎn)換為負(fù)載所需的電平。


    與IBA不同,F(xiàn)PA不通過(guò)串聯(lián)電感器從中繼母線電壓降壓至PoL。FPA不通過(guò)降低中間母線電壓來(lái)平均電壓,而是使用電流增益為1:48或更高的高壓穩(wěn)壓和電流倍增器模組,以提供更高的效率、更小的尺寸、更快的回應(yīng)和1000安培及以上的可擴(kuò)展性(圖二)。


    垂直放置PoL轉(zhuǎn)換器減少功耗耗散

    在前幾代大電流生成式AI處理器電源架構(gòu)中,PoL轉(zhuǎn)換器被放在處理器複合體的橫向(旁邊)位置。由於銅的電阻率和PCB上的走線長(zhǎng)度,橫向放置的PoL供電網(wǎng)路(PDN)的集總阻抗相當(dāng)高,可能達(dá)到200μΩ或更高。隨著生成式AI訓(xùn)練處理器的連續(xù)電流需求增加到1000安培,這意味著PCB本身就會(huì)消耗掉200瓦的功率??紤]到在AI超級(jí)電腦中用於大型語(yǔ)言模型訓(xùn)練的加速器模組(AM)多達(dá)數(shù)千個(gè),而且?guī)缀鯊牟粩嚯?,通常?huì)持續(xù)運(yùn)行10年或更長(zhǎng)時(shí)間,這200瓦的功率損耗在整體上變得非常龐大。


    認(rèn)識(shí)到這種能源浪費(fèi)後,AI電腦設(shè)計(jì)師已經(jīng)開(kāi)始評(píng)估採(cǎi)用垂直供電(VPD)結(jié)構(gòu),將PoL轉(zhuǎn)換器直接放置在處理器複合體的下方。在垂直供電網(wǎng)路中,集總阻抗可能降至10μΩ或更低,這意味著在內(nèi)核電壓域1000安培的連續(xù)電流下,只會(huì)消耗10瓦的功率。也就是說(shuō),通過(guò)將PoL轉(zhuǎn)換器從橫向放置改為縱向放置,PCB的功耗減少了200–10=190瓦(WPCB)(圖三)。



    圖三 : 生成式AI加速模組從橫向(頂部)供電改為縱向(背部)供電,可將PDN損耗降低至1/20
    圖三 : 生成式AI加速模組從橫向(頂部)供電改為縱向(背部)供電,可將PDN損耗降低至1/20

    PD的另一個(gè)優(yōu)點(diǎn)是降低了GPU晶片表面電壓梯度,這也有助於節(jié)省電力。如前所述,典型的4奈米CMOS GPU的標(biāo)稱工作電壓為0.65VDD。使用橫向供電時(shí),將電源提供給處理器複合體的四邊,由於積體電路的配電阻抗較高(通常使用電阻率高於銅的鋁導(dǎo)體),可能需要0.70V的電壓,才能確保GPU晶片中心的電壓達(dá)到標(biāo)稱值0.65V。而採(cǎi)用縱向供電時(shí),可以確保整個(gè)晶片表面的電壓為0.65V。0.70–0.65=50 mV,這個(gè)差值乘以1000安培,可額外節(jié)省50瓦(WVDD)的功率。在本例中,節(jié)省的總功率為190 WPCB + 50 WVDD = 240瓦(圖四)。


    根據(jù)未來(lái)幾年公共領(lǐng)域?qū)铀倨髂=M(AM)需求的預(yù)測(cè)(2024年超過(guò)250萬(wàn)件),以及對(duì)電力成本的合理估計(jì)(每兆瓦時(shí)75美元),每個(gè)AM節(jié)省240W電力,到2026年將在全球範(fàn)圍內(nèi)實(shí)現(xiàn)太瓦時(shí)的電力節(jié)省,相當(dāng)於每年節(jié)約數(shù)十億美元的電力營(yíng)運(yùn)成本,而且根據(jù)可再生能源的使用比例,每年還能永久性地減少數(shù)百萬(wàn)噸的二氧化碳排放。



    圖四 : 使用VPD時(shí),處理器晶片的表面電壓均勻,有助於最大限度地提高計(jì)算效能,同時(shí)最小化功率損耗。
    圖四 : 使用VPD時(shí),處理器晶片的表面電壓均勻,有助於最大限度地提高計(jì)算效能,同時(shí)最小化功率損耗。

    遏制失控的生成式AI功耗

    Vicor正引領(lǐng)生成式AI供電技術(shù)的創(chuàng)新浪潮,所提供的分比式負(fù)載點(diǎn)轉(zhuǎn)換器解決方案有助於提升生成式AI處理器的功效,使生成式AI的功耗與社會(huì)層面的環(huán)境保護(hù)和節(jié)能目標(biāo)相一致。


    Vicor持續(xù)推動(dòng)電源架構(gòu)的創(chuàng)新,並開(kāi)發(fā)先進(jìn)的新產(chǎn)品,致力於解決生成式AI模型訓(xùn)練帶來(lái)的功耗增加問(wèn)題。通過(guò)採(cǎi)用先進(jìn)的分比式電流倍增器方法進(jìn)行負(fù)載點(diǎn)DC-DC轉(zhuǎn)換,就可以充分發(fā)揮生成式AI優(yōu)勢(shì),同時(shí)有效控制全球範(fàn)圍內(nèi)的能源消耗。


    (本文作者翁鴻裕為Vicor 臺(tái)灣總經(jīng)理)


    相關(guān)文章
    ? 當(dāng)生成式AI遇上機(jī)器視覺(jué)
    ? 生成式AI 整合機(jī)器視覺(jué)檢測(cè)的崛起
    ? 形塑AOI產(chǎn)業(yè)創(chuàng)新生態(tài)
    ? 遙控水底機(jī)器人為深??碧綄?shí)現(xiàn)創(chuàng)新 降低環(huán)境風(fēng)險(xiǎn)
    ? AI賦能智慧製造轉(zhuǎn)型
    comments powered by Disqus
      相關(guān)新聞
    » 臺(tái)達(dá)電子公佈一百一十四年六月份營(yíng)收 單月合併營(yíng)收新臺(tái)幣422.08億元
    » 新唐科技的 NPCM8mnx BMC 晶片通過(guò) OCP S.A.F.E. 安全認(rèn)證
    » 臺(tái)達(dá)攜手珍古德協(xié)會(huì)與??起^ 三方合作推動(dòng)珊瑚復(fù)育教育
    » IPAC'25國(guó)際粒子加速器會(huì)議首度在臺(tái)灣登場(chǎng)
    » 杜邦公佈其計(jì)畫分拆的電子業(yè)務(wù)獨(dú)立公司Qnity品牌識(shí)別
      相關(guān)產(chǎn)品
    » 意法半導(dǎo)體推出車用閘極驅(qū)動(dòng)器 強(qiáng)化電動(dòng)車動(dòng)力系統(tǒng)的效能與擴(kuò)充彈性
    » 意法半導(dǎo)體推出適用於數(shù)位鑰匙應(yīng)用的新一代車用 NFC 讀寫器 擴(kuò)展 ST25R 高效能產(chǎn)品系列
    » 適用于高頻功率應(yīng)用的 IXD2012NTR 高壓側(cè)和低壓側(cè)柵極驅(qū)動(dòng)器
    » KSC XA輕觸開(kāi)關(guān)提供聲音柔和的輕觸回饋,增強(qiáng)用戶體驗(yàn)
    » 首款採(cǎi)用 DO-214AB 緊湊型封裝的 2kA 保護(hù)晶閘管

    ?
    刊登廣告 新聞信箱 讀者信箱 著作權(quán)聲明 隱私權(quán)聲明 本站介紹

    Copyright ©1999-2025 遠(yuǎn)播資訊股份有限公司版權(quán)所有 Powered by O3
    地址:臺(tái)北數(shù)位產(chǎn)業(yè)園區(qū)(digiBlock Taipei) 103臺(tái)北市大同區(qū)承德路三段287-2號(hào)A棟204室
    電話 (02)2585-5526 #0 轉(zhuǎn)接至總機(jī) / E-Mail: webmaster@hope.com.tw
    主站蜘蛛池模板: 北京市| 乳山市| 连城县| 石城县| 喀什市| 文成县| 巨野县| 安塞县| 成都市| 望江县| 新泰市| 吴堡县| 会理县| 宕昌县| 山阳县| 福建省| 新丰县| 福建省| 太湖县| 常德市| 仪陇县| 灵宝市| 凌海市| 塔城市| 桃源县| 堆龙德庆县| 会昌县| 景泰县| 湘阴县| 沅陵县| 精河县| 汝阳县| 裕民县| 邛崃市| 石林| 彩票| 陇南市| 楚雄市| 东山县| 通化市| 麻阳|