在线观看日韩三级视频,国产久久精品在线播放,精品人妻伦一二三区久久简爱,久久亚洲精品一区二区,日韩人妻一区二区av,欧美黑人又粗又大高潮喷水,国产91精品在线播放,国产欧美日韩一区二区三视频,亚洲一区二区伦理在线

群聯(lián) aiDAPTIV+ 技術(shù)破局“內(nèi)存焦慮”:用 NAND 玩轉(zhuǎn) AI

2025/3/19 13:41:15 來(lái)源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 3 月 19 日消息,科技媒體 NeoWin 昨日(3 月 18 日)發(fā)布博文,報(bào)道稱(chēng)群聯(lián)(Phison)展示了其 aiDAPTIV+ 技術(shù),該技術(shù)通過(guò)動(dòng)態(tài)緩存擴(kuò)展內(nèi)存,有望突破 AI 應(yīng)用的內(nèi)存瓶頸。

IT之家援引博文介紹,人工智能(AI)和機(jī)器學(xué)習(xí)(ML)的處理能力已成為衡量現(xiàn)代硬件性能的重要指標(biāo),除了處理器本身的算力,AI 任務(wù)對(duì)內(nèi)存的需求也十分巨大。

AI 模型參數(shù)和精度越高,對(duì)內(nèi)存的需求越大。例如,單精度(float32)通常消耗四倍于參數(shù)值的內(nèi)存。即使是 32GB 顯存的 RTX 5090,也可能被一個(gè) 80 億參數(shù)的模型“喂飽”。

而 aiDAPTIV+ 技術(shù)通過(guò)動(dòng)態(tài)緩存,結(jié)合基于 NAND 閃存“aiDAPTIVCache”緩存技術(shù),擴(kuò)展可用的 HBM(高帶寬內(nèi)存) / GDDR(專(zhuān)為高帶寬應(yīng)用設(shè)計(jì)的同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)。

在 GTC 2025 大會(huì)上,群聯(lián)攜手 Maingear 公司,推出了應(yīng)用 aiDAPTIV+ 技術(shù)的 AI PRO 桌面工作站,并通過(guò) aiDAPTIVLink 3.0 新版中間件,負(fù)責(zé) SSD 的 NAND 和 GPU 之間的數(shù)據(jù)傳輸,提供更快的首個(gè) Token 時(shí)間(TTFT)回調(diào)響應(yīng),并支持更大的 LLM(大型語(yǔ)言模型)提示上下文。

下圖展示了群聯(lián) Aidaptiv+ 技術(shù)的應(yīng)用結(jié)果,在參數(shù)量超過(guò) 130 億的模型上,群聯(lián) aiDAPTIV+ 輕松超越了 Maingear 的四路英偉達(dá) RTX 6000 Ada 設(shè)置(未采用 aiDAPTIV+)。

Maingear 介紹稱(chēng) PRO AI 工作站會(huì)動(dòng)態(tài)切片 70B 訓(xùn)練模型,將當(dāng)前切片提供給 GPU 進(jìn)行高速訓(xùn)練,同時(shí)將模型的其余部分存儲(chǔ)在 DRAM 和群聯(lián) AI100 SSD 中。每個(gè) NVIDIA RTX 6000 ADA 在訓(xùn)練中以最少的停機(jī)時(shí)間全面表現(xiàn)。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:AI,群聯(lián),閃存

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知