Claude 立大功！開發(fā)者靠它剖析 MIL 語言與 E5 二進制，繞過 CoreML 直達硬件，證明 NPU 訓(xùn)練從來不是硬件不行，而是蘋果不讓用。
AI 界再迎地震，LLM 訓(xùn)練未來或從此改變！OpenClaw 引起全球 AI 龍蝦熱潮，意外讓蘋果 Mac mini 賣爆 —— 美國百強連鎖店之一的 microCenter，本來主打的個人消費級 PC，最近甚至宣稱「Mac mini 和 OpenClaw 天生一對」！
還有好消息：Mac mini 養(yǎng)完小龍蝦，不用吃灰了 —— 剛剛，蘋果神經(jīng)引擎（Apple Neural Engine，ANE）被破解，可能引爆 AI 訓(xùn)練革命！
工程師 Manjeet Singh 用 Claude 逆向工程 Apple Neural Engine 了，還訓(xùn)練了一個單層 Transformer。
想象一下：不用 GPU，不用 TPU，就在 M4 芯片上完成的。
這并不意味著現(xiàn)在任何人都能構(gòu)建 LLM。還沒到那一步。但現(xiàn)在你已經(jīng)可以在自己的 MacBook 上用一個小數(shù)據(jù)集做家庭實驗了。
無需 CoreML，無需 Metal，無需 GPU。純粹利用高速運行的 ANE 芯片。
如果屬實，這無疑意義重大 ——
而且 Claude 深度參與了破解全程，包括整個逆向工程、基準(zhǔn)測試以及訓(xùn)練代碼的開發(fā) —— 由人類的直覺引領(lǐng)探索方向，由 AI 進行數(shù)據(jù)推理并撰寫分析報告。
Manjeet Singh 直言一切都靠 Claude，他只是引導(dǎo)方向：
我們認(rèn)為，這種人機協(xié)作是進行系統(tǒng)研究的一種新穎且自然的方式：
一個伙伴扮演富有直覺的架構(gòu)師，另一個則充當(dāng)編寫代碼和設(shè)計實驗的工程師。
Mac 就能訓(xùn)單層 Transformer！
Claude 在這里扮演了關(guān)鍵角色。
通過 Claude 的智能分析，開發(fā)者鉤住了私有方法、剖析了 MIL 語言的秘密，并拆解了 E5 二進制的迷霧，最終繞過 CoreML 框架，直接操控 ANE 硬件實現(xiàn)前向和反向傳播。
一個單層 Transformer（dim=768, seq=512）僅需 9.3 毫秒一步，峰值效率高達 6.6 TFLOPS/W——
這是 A100 的 80 倍，H100 的 50 倍以上。
這一發(fā)現(xiàn)讓無數(shù)人的算力賬單顯得像個笑話。
更驚人的是，最新更新已實現(xiàn)完整 Stories110M 模型（109 百萬參數(shù)，12 層 Llama-2 架構(gòu)）在 TinyStories 數(shù)據(jù)集上的訓(xùn)練，損失實時下降，功耗低到「小于一瓦特」。
你的桌面 Mac，從此不再是消費工具，而是 AI 訓(xùn)練的超級電腦，成本暴降至電費的零頭。
這將改變世界。
首次，任何擁有 Mac 的人都可以在本地、私密地以遠低于云 GPU 的成本微調(diào)、訓(xùn)練或迭代大規(guī)模模型。
不再租用 4 萬美元的 A100 集群。不再排隊等待。不再留下巨大的碳足跡。
過去動輒數(shù)萬甚至數(shù)十萬美元的訓(xùn)練成本？如今暴跌至幾乎只需幾美分 —— 基本就是你那臺閑置 Mac 本就在消耗的電費。
AI 革命剛剛從耗資數(shù)十億美元的數(shù)據(jù)中心轉(zhuǎn)移到了你的桌面。
我們才剛剛起步，但大門已經(jīng)敞開 —— 今天是單層，明天就是完整模型。
超低成本的設(shè)備端訓(xùn)練時代已經(jīng)到來。
未來不是即將來臨，它已經(jīng)在你的 Mac 上運行。不過，我們需要看一下什么是 ANE？
什么是蘋果神經(jīng)引擎 ANE？
大多數(shù)新款 iPhone 和 iPad 都配備了神經(jīng)引擎，這是一種能極大加速機器學(xué)習(xí)模型的特殊處理器，但關(guān)于這款處理器實際工作原理的公開信息并不多。
蘋果神經(jīng)引擎（簡稱 ANE）是一種 NPU，即神經(jīng)網(wǎng)絡(luò)處理單元。
NPU 類似于 GPU，但 GPU 加速圖形處理，而 NPU 則加速卷積、矩陣乘法等神經(jīng)網(wǎng)絡(luò)運算，是一種定制化的固定功能加速器。
它接收的是已經(jīng)編譯好的神經(jīng)網(wǎng)絡(luò)計算圖，然后將整張圖作為一個原子操作一次性執(zhí)行完畢。
你無法像操作 CPU 或 GPU 那樣逐條發(fā)出乘加指令（multiply-accumulate）。你提交的是一份描述完整計算圖的編譯程序，而硬件會從頭到尾一次性跑完。
ANE 并非唯一的 NPU——
除了神經(jīng)引擎，最著名的 NPU 當(dāng)屬谷歌的 TPU（張量處理單元）。
2017 年，Apple 在 A11 芯片中首次引入 Neural Engine，當(dāng)時是雙核心設(shè)計。
此后每一代都在擴展規(guī)模。
此次研究的對象，是蘋果 M4 芯片的 ANE（代號 H16G）：
16 核心，支持 127 條評估請求的隊列深度；
具備獨立的 DVFS（動態(tài)電壓 / 頻率調(diào)節(jié)）；
并且擁有嚴(yán)格的電源門控機制，空閑時功耗精確降至 0 毫瓦。
推理芯片竟能用于訓(xùn)練，能效還很高！
ANE 本身性能極其強大，但蘋果通過 CoreML 將它限制在「僅推理」用途。
真正的障礙，從來不是硬件能力，而是軟件支持。
以下是完整的 ANE 軟件堆棧的樣子，從公共的 CoreML API 到硬件：
關(guān)鍵洞察：CoreML 不是唯一的入口。AppleNeuralEngine.framework 中的_ANEClient 類提供了對編譯 → 加載 → 評估流程的直接訪問。CoreML 只是頂部的一個便利層。
而 Manjeet Singh 想證明在 Apple Neural Engine（ANE）上進行訓(xùn)練 —— 以及在其他 NPU 上進行訓(xùn)練 —— 是可行的。
起因是他買了一臺 Mac mini M4，想利用它的算力來完成他的編譯器項目。
這個項目通過逆向私有 API，繞過了這一限制，展示了當(dāng)你真正釋放硬件能力時，它能做到什么。
這款 NPU 宣稱擁有 38 TFLOPS 的 INT8 算力（但它實際是 FP16 處理器，所以實際算力減半）。
最終，他搭建了一個定制化的訓(xùn)練流水線，成功訓(xùn)練了一個 1.1 億參數(shù)的微型 GPT 模型。
實際上，目前無法用單芯片訓(xùn)練更大的模型，但理論上，通過集群或許可以訓(xùn)練更大規(guī)模的模型。不過即使單臺設(shè)備，也應(yīng)該能對 30 億或 70 億參數(shù)的模型進行 LoRA 微調(diào)。
再次強調(diào)，為什么要在 NPU 上訓(xùn)練？
因為能效極高。
ANE 在峰值算力下功耗僅 2.8W，19 TFLOPS 能效比高達 6.6 TFLOPS / 瓦，堪稱瘋狂！
對比之下，Metal GPU 只有為 1 TFLOPS / 瓦，H100 為 1.4 TFLOPS / 瓦）
需要明確的是：
訓(xùn)練是可行的，但利用率很低（約峰值的 2-3%），并且還存在重大的工程挑戰(zhàn)。
許多逐元素運算仍然會回退到 CPU 執(zhí)行。
目前，這除了用于小型研究模型外，還不能替代 GPU 訓(xùn)練。
測試結(jié)果令人驚訝
最后的發(fā)現(xiàn)令人驚訝：雖然「38 TOPS」這個數(shù)字在技術(shù)層面沒有錯誤，但卻極具誤導(dǎo)性。
蘋果從未公開過關(guān)于如何榨取 ANE 最大吞吐量的優(yōu)化模式。
這里多解釋一下 ——
TOPS 是 Tera Operations Per Second 的縮寫，1TOPS 代表處理器每秒鐘可進行一萬億次（10^12）操作。
它主要衡量理論最大吞吐量，而非實際吞吐量。由于大多數(shù)運算都是乘加運算（MAC），因此 TOPS 的計算公式為：（乘積累加運算 MAC 單元數(shù)量）x（MAC 操作頻率）x 2。
這是決定 AI 運行速度的最重要的參數(shù)。
矩陣乘法擴展：基礎(chǔ)測試
他們從最簡單的基準(zhǔn)測試開始：對遞增尺寸的方陣執(zhí)行乘法運算。
測試結(jié)果揭示兩大關(guān)鍵現(xiàn)象：
256×256 矩陣受限于調(diào)度開銷：在 0.101 毫秒的運行時間中，大部分（約 0.095 毫秒）消耗于 XPC 和 IOKit 框架的通信，真正的計算僅占約 0.006 毫秒。
性能在 4096 尺寸時顯著下降：從 2048 尺寸時的 5.7 TFLOPS 降至 4096 尺寸時的 4.0 TFLOPS，這表明存在資源溢出問題。
當(dāng)尺寸為 2048×2048 時，24 MB 的計算集完全適配芯片上的 SRAM，因此能達到峰值單次運算吞吐量（5.7 TFLOPS）。
當(dāng)尺寸增至 4096×4096 時，96 MB 的計算集遠超 SRAM 容量（約 3 倍），迫使數(shù)據(jù)頻繁交換至 DRAM，導(dǎo)致吞吐量銳減 30%。
輸入重塑為：(1, K, 1, M)
權(quán)重重塑為：(N, K, 1, 1)
輸出重塑為：(1, N, 1, M)
構(gòu)建深度圖，而非廣度圖：在一個 MIL 程序中鏈接 16 至 64 個運算。孤立的單次運算會浪費 70% 的硬件能力。
優(yōu)先使用卷積而非矩陣乘法：1×1 卷積能利用快速數(shù)據(jù)通路，而矩陣乘法的速度要慢 3 倍。
嚴(yán)格控制數(shù)據(jù)在 32MB 以內(nèi)：確保每個張量的內(nèi)存占用不超過 SRAM 容量。數(shù)據(jù)溢出到 DRAM 會嚴(yán)重損害吞吐量。
避免受限于調(diào)度的微小運算：任何執(zhí)行時間低于約 1 毫秒的操作，其主要耗時都來自于約 0.095 毫秒的調(diào)度開銷。
適合使用 ANE 的場景：大批量推理、包含 16 層以上的深度圖網(wǎng)絡(luò)、對能耗有嚴(yán)格限制的場景、需要持續(xù)高吞吐量的任務(wù)。
適合使用 SME 的場景：單 token 解碼（零調(diào)度開銷）、ANE 不支持的自定義運算、小矩陣運算、任何需要 FP32+ 精度的計算。
https://www.reddit.com/r/LocalLLaMA/comments/1rhx5pc/reverse_engineered_apple_neural_engineane_to/
https://x.com/ronaldmannak/status/2028560995875168292
https://maderix.substack.com/p/inside-the-m4-apple-neural-engine
https://maderix.substack.com/p/inside-the-m4-apple-neural-engine-615
SRAM 性能懸崖
2048 到 4096 尺寸的性能驟降正是 SRAM 性能懸崖的體現(xiàn)。
一次矩陣乘法的計算集包含三個矩陣（A、B、C）。
以 FP16 精度計算：
這一性能在 24MB（快速）和 96MB（慢速）之間的劇烈變化，表明 ANE 的片上 SRAM 容量約為 32 MB。
性能并非在達到界限時突然崩潰，而是逐漸下降，這暗示其采用了一種類似緩存的分層架構(gòu)，而非固定的便簽式存儲器。
卷積運算優(yōu)于矩陣乘法
蘋果文檔中并未明確的一點是：ANE 本質(zhì)上是一個為卷積設(shè)計的引擎。將相同的計算任務(wù)表達為 1×1 卷積，而非矩陣乘法，能獲得顯著提升的吞吐量。
一個矩陣乘法運算 C [M,N] = A [M,K] @ B [K,N] 可以通過重塑數(shù)據(jù)，完美轉(zhuǎn)化為一個 1×1 卷積：
運算量和最終結(jié)果完全相同，但 ANE 的卷積數(shù)據(jù)通路能以高得多的效率處理這種形式。
深度圖網(wǎng)絡(luò)能填滿流水線
單個矩陣乘法操作僅能利用 ANE 約 30% 的峰值能力。
該硬件專為處理圖網(wǎng)絡(luò)而設(shè)計 —— 即能夠持續(xù)讓全部 16 個核心保持忙碌狀態(tài)的運算鏈條。
鏈接的運算越多，就越接近理論上的峰值性能。
最大化 ANE 吞吐量的黃金法則：
CoreML vs _ANEClient：難以忽視的開銷稅
CoreML 究竟損失了多少性能？
可以通過兩條路徑測量相同的運算，來計算性能損失：
對于小型運算，CoreML 增加了 2-4 倍的開銷。
在高吞吐量配置下，由于 ANE 計算時間占主導(dǎo)，這一差距會縮小。但對于延遲敏感型的工作負載（如大語言模型的 token 解碼、實時推理），CoreML 帶來的性能損失相當(dāng)嚴(yán)重。
INT8 = FP16：「38 TOPS」的現(xiàn)實含義
蘋果宣稱 M4 神經(jīng)引擎擁有「38 TOPS」的算力。以下是這一數(shù)字的真實含義。
在 FP16 和 INT8 兩種精度下，測量了完全相同的運算：
最后發(fā)現(xiàn)：
INT8 并未帶來預(yù)期的 2 倍速度提升。
INT8 和 FP16 的吞吐量幾乎相同。ANE 在執(zhí)行計算前，會將 INT8 權(quán)重反量化為 FP16 格式。
INT8 僅節(jié)省了內(nèi)存帶寬（從 DRAM 內(nèi)存加載更小的權(quán)重），并未節(jié)省計算周期。
蘋果的「38 TOPS INT8」是這樣計算出來的：19 TFLOPS FP16 × 2。
這符合行業(yè)慣例，即將 INT8 操作數(shù)視為 FP16 的兩倍。但硬件實際上并不能以兩倍的速度執(zhí)行 INT8 運算。
真正的峰值性能是 19 TFLOPS FP16，無論你使用何種量化精度，所獲得的最高性能就是如此。
這恰好是根據(jù)硬件配置（16 核心 × 約 1.2 TFLOPS / 核心）計算出的理論峰值的 100%。
在 32 層以上的深度網(wǎng)絡(luò)中達到 94% 的利用率，意味著幾乎測量了硬件的原始極限能力。
能效：ANE 隱藏的王者
如果只看吞吐量，GPU 穩(wěn)贏。
但 ANE 真正的優(yōu)勢在于其驚人的效率。
零功耗待機。ANE 采用了硬性電源門控技術(shù) —— 它不僅關(guān)閉時鐘，而是在閑置時完全切斷電源。這消除了任何泄漏電流和待機電量消耗。
在峰值負載下，它能實現(xiàn) 6.6 TFLOPS / 瓦的能效，遙遙領(lǐng)先 GPU：
這意味著，ANE 在執(zhí)行每個浮點運算時的能效，能效大約是 A100 的 80 倍。當(dāng)然，A100 擁有 50 倍于 ANE 的總吞吐量。但對于依賴電池供電的設(shè)備端推理而言，ANE 性能非凡。
ANE 與 SME：何時選擇使用哪種
M4 的 CPU 核心還配備了蘋果的 SME（可擴展矩陣擴展）功能。
以下是兩者的對比：
在 M4 上進行理想的大語言模型推理策略是混合模式：預(yù)填充階段（大批量、高吞吐量）使用 ANE，解碼階段（單 token、對延遲敏感）使用 SME。
這次挖掘了 ANE 的真實能力：在 2.8W 功耗下，配合正確的網(wǎng)絡(luò)結(jié)構(gòu)，可實現(xiàn) 19 TFLOPS FP16 的性能。
而接下來，Manjeet Singh 還將詳細演示蘋果明確不支持的功能：在神經(jīng)引擎上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
參考資料：
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。