【事件重點】
- 核心人物:開發者 Leonardo Alegría 發布開源專案 Garlic LLM
- 關鍵事件:在已越獄的 PlayStation 4 (2013 年上市) 上,離線運行阿里巴巴 Qwen 3.5-9B 大語言模型
- 技術亮點:繞過驅動層直接操作 GCN 架構 GPU,利用 Garlic 記憶體 存放權重,模型量化至 4.5 GiB 適應主機記憶體
- 實測效能:純文字模式 31-39 tok/s,程式碼生成峰值 43 tok/s;語音互動模式約 22 tok/s
當 2013 年的 GPU 遇上 2024 年的大模型
手邊那台吃灰的 PS4,原本以為生命週期早就隨著 PS5 上市畫下句點。沒想到開發者 Leonardo Alegría 最近在 GitHub 釋出的 Garlic LLM 專案,硬是把這台十年前的主機改造成了一台能離線跑 90 億參數模型的「邊緣運算裝置」。
這不是在跑量化到殘廢的 1B、3B 小模型,而是完整跑起阿里巴巴開放權重的 Qwen 3.5-9B。更誇張的是,它不需要聯網、不需要訂閱雲端 API、完全在本地端跑完推理。對於擔心資料隱私本地化運算的開發者或研究者來說,這台成本極低的舊硬體,突然變成了極具吸引力的離線 AI 模型部署平台。
為什麼叫 Garlic?記憶體架構決定一切
專案名稱「Garlic」不是隨便取的,它直接對應 PS4 APU 記憶體架構中的 Garlic 記憶體類型(另一種是 Onion)。簡單說,PS4 的統一記憶體架構(hUMA)讓 CPU 和 GPU 共享 8GB GDDR5,但存取路徑不同。Garlic 是 GPU 直接可見、延遲較低的區塊,非常適合放模型權重。
這次移植最硬核的地方在於:完全沒用 llama.cpp,也沒用 Vulkan 驅動層。PS4 的駭客環境缺乏成熟的圖形驅動移植層,開發者乾脆自己寫 OpenCL C 計算核心,針對 AMD Graphics Core Next (GCN) 架構用 LLVM 直接編譯。從分詞器、PM4 命令緩衝區建構,到 GCN 核心執行,整個推理管線都是在 OpenOrbis 開源工具鏈上從零蓋起來的。這種程度的 GPU 記憶體優化技術與開發者工具鏈建構,在商業級產品中極少見,純屬社群硬實力展現。
安裝門檻與硬體現況:需要一台「已越獄」的主機
想試玩的話,前提很硬性:主機必須已越獄,且韌體版本建議在 11.52 或更低(目前 11.52 以下可完美越獄)。安裝包單一檔案 5.66 GB,放上 Hugging Face 免費下載,透過 PS4 套件安裝器即可。裝好佔約 6 GB 空間,若先複製到內部硬碟再安裝則需預留 12 GB。
目前開發者僅在基礎版與 Slim 版 PS4(韌體 11.52)實測過,PS4 Pro 尚在徵求用戶回報,PS5 完全不支援(架構不同,PS5 有專屬的 PS5LM 專案跑 llama.cpp/Vulkan)。所以這專案純粹是為了榨乾舊硬體效能榨取的極限而生。
多 Token 預測:舊硬體跑出可用速度的關鍵
光有模型跑得動不夠,還得跑得夠快才有「可用性」。Qwen 3.5-9B 內建多 Token 預測(MTP)頭部,Garlic LLM 利用這特性,讓模型先草稿預測後續最多兩個 Token,再由完整模型驗證修正。這招 投機解碼 讓純文字聊天穩定在 31-39 tok/s,寫程式碼更衝到 43 tok/s。
換算一下:以中間值 35 tok/s 估算,生成 300 Token 的回覆不到 9 秒。雖然比不上 PS5 跑 27B 模型的 20 tok/s(參數量大三倍卻慢一半),也遠不及現代筆電跑 Gemma 4B 的 60+ tok/s,但別忘了主角是 2013 年的 GCN 架構 GPU。若在同等功耗、同等成本下比雲端推理成本控制,這台中古主機的 CP 值極高。
語音互動與實際體驗:不只是 Demo,能聊天、能寫碼、能唸書
整合 Nvidia Parakeet TDT 0.6B v3(支援 25 種歐洲語言語音轉文字)與 Chatterbox TTS(七國語言語音合成),Garlic LLM 已經具備完整語音對話能力。開啟語音模式下速度約 22 tok/s,雖然比純文字慢,但已足夠流暢進行即時問答。
預設溫度參數 0.7(依阿里巴巴建議關閉思考模式設定),Demo 影片為了可重現性設為 0。實際玩起來,一般知識問答、程式片段生成、文本摘要都能應付,幻覺率與桌機端跑同模型相差無幾。對於想低成本驗證開源大語言模型微調推理效果、或需要邊緣運算裝置效能原型機的開發者,這是一個近乎零成本的測試平台。
寫在最後:舊硬體的新價值,不只省錢,更關乎掌控權
Garlic LLM 不會取代你的桌機 GPU,也無法威脅雲端算力巨頭。但它證明了一件事:只要架構開放、工具鏈完善、社群夠瘋狂,「過時硬體」依然能承載最前沿的 AI 工作負載。
這對於關注資料主權、不願將敏感代碼或文件上傳雲端的團隊,或是預算有限卻想實驗本地 LLM 部署流程的學生、獨立開發者,提供了一條極具想像力的替代路徑。下次看到家裡那台吃灰的 PS4,或許不妨想像一下:它其實是一台等待被喚醒的、屬於你完全掌控的私有 AI 伺服器。