IT之家 7 月 5 日消息，蘋果公司悄然在 Hugging Face 上發(fā)布了一款名為 DiffuCode-7B-cpGRPO 的開源 AI 模型，該模型在生成代碼方面具有創(chuàng)新特性，能夠不按順序生成代碼，且性能媲美頂級開源編碼模型。

IT之家注：傳統(tǒng)大語言模型（LLM）生成代碼的方式，如同大多數(shù)人類閱讀文本的方式，采用從左到右、從上到下順序。

這主要是因為這些 LLM 采用自回歸（Autoregression）方式工作，意味著當(dāng)用戶向它們提問后，它們會處理整個問題，預(yù)測答案的第一個 token，然后帶著這個 token 重新處理整個問題，預(yù)測第二個 token，以此類推。

LLM 還有一個名為“溫度”（Temperature）的設(shè)置，用于控制輸出的隨機(jī)性。在預(yù)測下一個 token 后，模型會為所有可能的選項分配概率。較低的溫度意味著更有可能選擇最可能的 token，而較高的溫度則給予模型更多的自由，選擇不太可能的 token。

而另一種選擇就是擴(kuò)散（Diffusion）模型，這種模型通常用于圖像模型。簡而言之，模型從一個模糊、噪聲的圖像開始，迭代去除噪聲，同時考慮到用戶的需求，逐漸將其引導(dǎo)至更接近用戶請求的圖像。

蘋果公司發(fā)布的模型名為 DiffuCode-7B-cpGRPO，它基于上月發(fā)表、名為《DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation》的論文。

論文描述了一個采用擴(kuò)散優(yōu)先策略的代碼生成模型，但有一個特別之處：當(dāng)采樣溫度從默認(rèn)的 0.2 增加到 1.2 后，DiffuCoder 在生成 token 的順序上變得更加靈活，從而擺脫了嚴(yán)格的從左到右的約束。

更為有趣的是，蘋果的這款模型建立在阿里的開源 Qwen2.5-7B 模型上，將這個模型按照 DiffuCoder 論文中的描述，改造成了一個基于擴(kuò)散的 decoder，然后調(diào)整它以更好地遵循指示。完成這些后，他們又用超過 20000 個精心挑選的編碼示例訓(xùn)練了它的另一個版本。

在主流編程跑分中，DiffuCode-7B-cpGRPO 保持了在生成代碼時不嚴(yán)格依賴從左到右的生成方式情況下，相比較主流基于擴(kuò)散的編程模型，測試得分提高了 4.4%。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。