IT之家 11 月 27 日消息，科技媒體 techpowerup 昨日（11 月 26 日）發(fā)布博文，報(bào)道稱 AMD 公司發(fā)布了 ROCm 6.3 版本更新，集成了用于加速 AI 推理的 SGLang，并重新設(shè)計(jì) FlashAttention-2 用于優(yōu)化 AI 訓(xùn)練和推理等等。
SGLang
AMD 表示 ROCm 6.3 更新現(xiàn)支持 SGLang，這是一個(gè) Runtime，為 AMD Instinct GPU 優(yōu)化大語(yǔ)言模型（LLMs）和視覺(jué)語(yǔ)言模型（VLM）的推理。
AMD 承諾通過(guò)集成 SGLang，吞吐量可以提高 6 倍，并且由于集成了 Python 和預(yù)配置的 ROCm Docker 容器，使用起來(lái)更加便捷。
FlashAttention-2
AMD 在 ROCm 6.3 中重新設(shè)計(jì)了 FlashAttention-2，相比較 FlashAttention-1，顯著改進(jìn)了前向和后向傳遞，大幅提升了 Transformer 模型的訓(xùn)練和推理速度。
全新 AMD Fortran 編譯器
AMD 推出了全新的 Fortran 編譯器，支持直接 GPU offload，并兼容之前的版本，同時(shí)完美集成 HIP 內(nèi)核和 ROCm 庫(kù)，為 Fortran 開(kāi)發(fā)者提供了更強(qiáng)大的 GPU 計(jì)算能力。
增強(qiáng)計(jì)算機(jī)視覺(jué)庫(kù)
rocDecode、rocJPEG 和 rocAL 等計(jì)算機(jī)視覺(jué)庫(kù)也得到了增強(qiáng)，分別支持 AV1 編解碼、GPU 加速 JPEG 解碼和更優(yōu)的音頻增強(qiáng)功能，為圖像和視頻處理應(yīng)用提供了更強(qiáng)大的支持。
ROCm 簡(jiǎn)介
IT之家注：ROCm 是 AMD 開(kāi)發(fā)的一個(gè)開(kāi)放源代碼軟件棧，用于在 AMD 圖形處理器 (GPU) 上進(jìn)行編程。
它包含驅(qū)動(dòng)程序、開(kāi)發(fā)工具和 API，支持從底層內(nèi)核到最終用戶應(yīng)用程序的 GPU 編程，ROCm 針對(duì)生成式 AI 和高性能計(jì)算 (HPC) 應(yīng)用進(jìn)行了優(yōu)化，并涵蓋了通用計(jì)算 (GPGPU)、高性能計(jì)算 (HPC) 和異構(gòu)計(jì)算等多個(gè)領(lǐng)域。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。