IT之家 3 月 17 日消息，Penguin Solutions 當(dāng)?shù)貢r(shí)間本月 16 日宣布推出業(yè)界首款采用 CXL 技術(shù)的量產(chǎn)型 KV Cache 服務(wù)器。其綜合了 3TB 的 DDR5 系統(tǒng)主內(nèi)存和 8 個(gè) 1TB 的 CXL 內(nèi)存 AIC 模塊，可為 AI 推理負(fù)載提供合計(jì) 11TB 的海量?jī)?nèi)存空間。
IT之家注意到，Penguin 表示 AI 推理通常而言 30% 依賴于算力而 70% 依賴于內(nèi)存，這是此類工作負(fù)載與模型訓(xùn)練 / 調(diào)優(yōu)最大的不同。同時(shí)，延遲表現(xiàn)也很大程度上影響了推理場(chǎng)景的用戶使用體驗(yàn)。
Penguin Solutions 此次推出的 MemoryAI KV Cache 服務(wù)器可為 AI 推理系統(tǒng)帶來更低的延遲、更短的首 Token 響應(yīng)時(shí)間、更高的吞吐量、更高的 XPU 集群利用效率，持續(xù)滿足嚴(yán)苛的服務(wù)水平一致性要求，尤其適合實(shí)時(shí)金融分析、海量數(shù)據(jù)集 RAG、監(jiān)管合規(guī)性分析等需求大窗口和低延遲的企業(yè)級(jí)任務(wù)。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。