IT之家 4 月 18 日消息,在云原生調(diào)度中,一次調(diào)度往往無法解決所有問題,需要配合重調(diào)度來優(yōu)化資源分配和任務(wù)擺放。今日,字節(jié)跳動技術(shù)團(tuán)隊宣布開源 Godel-Rescheduler,號稱是“適用于云原生系統(tǒng)的全局最優(yōu)重調(diào)度框架”。
據(jù)字節(jié)官方介紹,這是一個基于全局最優(yōu)調(diào)度策略的重調(diào)度框架。它不僅能識別集群中的異常節(jié)點和任務(wù),還能智能推薦任務(wù)到最合適的位置,并通過圖算法生成詳細(xì)的遷移步驟,確保集群的整體穩(wěn)定性,真正實現(xiàn)全局最優(yōu)調(diào)度。
Godel-Rescheduler 由兩個核心模塊組成:Policy Manager 和 Movement Manager。其中,Policy Manager 負(fù)責(zé)輸出重調(diào)度決策,而 Movement Manager 則負(fù)責(zé)拆解并執(zhí)行這些決策。整個框架的目標(biāo)是通過重調(diào)度,使集群朝向全局最優(yōu)狀態(tài)發(fā)展。

目前字節(jié)跳動已經(jīng)成功將 Godel-Rescheduler 應(yīng)用到多個內(nèi)部項目中,支持多種重調(diào)度策略的協(xié)同工作。例如:
合并部署重調(diào)度:優(yōu)化上下游應(yīng)用實例在相同節(jié)點上的調(diào)度。
負(fù)載均衡重調(diào)度:在負(fù)載、內(nèi)存帶寬、網(wǎng)絡(luò)帶寬等方面進(jìn)行優(yōu)化。
碎片整理重調(diào)度:有效減少 CPU、GPU 等資源的碎片率等。
在實際應(yīng)用中,Godel-Rescheduler 已幫助字節(jié)跳動的數(shù)萬卡 GPU 集群將碎片率控制在 5% 以下,同時在大規(guī)?;旌喜渴鸺褐?,熱點節(jié)點比例控制在 0.1% 以下。
IT之家附 Godel ReScheduler 項目地址:
https://github.com/kubewharf/godel-rescheduler
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。