AIng AI 正在進行,未來正在成形AIng PERSPECTIVES
AIngAI進行式
新動態 / 新聞解讀

Mistral 兆級模型開放下載,最小版本也要 233 GB:家用電腦跑不動

· 發布
一整排 GPU 伺服器機櫃像城牆般排開,中央地上放著一台小小的桌上型電腦
AIng/AI 生成插圖

Mistral Large 4 的權重人人都能下載,能把它跑起來的人卻很少。對台灣讀者來說,這次開放改變的是企業可以把兆級模型裝進自己的機房;想在家用電腦上試的人,走 API 比較實際。

法國 AI 公司 Mistral 在 2026 年 10 月 29 日發布開源公告,把 10 月 6 日先以 API 預覽的 Mistral Large 4(暱稱 Le Chonk)權重放上 Hugging Face。總參數約 1 兆,Mistral 主打它在資安工作上的表現。

下載頁寫著 1.06 TB

以下依 Mistral 官方模型卡整理。Large 4 採混合專家(Mixture-of-Experts,MoE)架構:128 個路由專家,每個 token 只叫用其中 4 個,再加 1 個共用專家,所以每個 token 實際動用 490 億個參數,算進嵌入層與輸出層是 520 億。上下文長度 100 萬 token,可以讀圖片,輸出只有文字。Mistral 說它在自家歐洲機房用 3,800 張 NVIDIA Grace Blackwell GPU 從頭訓練。

每次動用的參數少,算得快;記憶體卻得放下全部 1 兆個參數。

AIng 在 10 月 30 日用 Hugging Face API 加總檔案:FP8 主檔共 68 個檔、約 1,060.6 GB,給 Blackwell 晶片用的 NVFP4 量化版約 610.1 GB。模型卡的部署範例寫的是「一台 8 張 GPU 的節點」,同一頁還寫著:「For optimal performance, we recommend using the Mistral AI API if local serving is subpar.」

最小的 1 位元版本要 256 GB 記憶體

這一段是第三方 Unsloth 的量化結果,不是 Mistral 官方數字,AIng 也沒有實際執行。Unsloth 在 10 月 29 日上架 GGUF 量化檔,使用說明列出最小的 UD-IQ1_S 約 233 GB,建議 RAM 加顯示記憶體至少 256 到 270 GB,舉例的機器是一台 Mac Studio 或兩台 NVIDIA DGX Spark。

AIng / 資料圖解

Mistral Large 4 各版本檔案大小

單位:GB · 版本

檔案大小
Mistral Large 4 各版本檔案大小Mistral Large 4 各版本檔案大小:FP8 原版 1,060.6 GB、NVFP4 610.1 GB、4 位元 GGUF 605 GB、2 位元 GGUF 378 GB、1 位元 GGUF 233 GB。05001,0001,500FP8 原版1,060.6NVFP4610.14 位元 GGUF6052 位元 GGUF3781 位元 GGUF233
查看完整資料表
Mistral Large 4 各版本檔案大小 · GB
版本檔案大小
FP8 原版1060.6
NVFP4610.1
4 位元 GGUF605
2 位元 GGUF378
1 位元 GGUF233

FP8 與 NVFP4 為 Mistral 官方檔案,AIng 於 2026-10-30 以 Hugging Face API 加總;GGUF 為 Unsloth 動態量化版(UD-Q4_K_XL、UD-Q2_K_XL、UD-IQ1_S),取自 Unsloth 使用說明。實際執行還要加上 KV cache 與系統所需記憶體。

壓得越小,答案跟原版越不像。Unsloth 拿原版當基準,量 top-1 一致率,也就是每一步最可能的下一個 token 跟原版相同的比例:1 位元版本 90.6%,4 位元 97.8%。同一頁有一處寫 1 位元檔 223 GB、表格寫 233 GB,我們以 Hugging Face 上的實際檔案大小 233.0 GB 為準。

家用電腦的顯卡記憶體離這個門檻還差得很遠。

資安成績來自 Mistral 自評

以下是 Mistral 官方宣傳,數字都由 Mistral 公布,AIng 未獨立驗證。公告列出 Artificial Analysis Cyber Index 51%;對惡意資安請求的平均拒答率 96.6%,Mistral 說是它測過的開放模型中最高;在 B3 Agent Security Benchmark 擋下 97.1% 的攻擊,預覽版是 93.3%。合作名單有 CrowdStrike、Cloudflare、Fortinet、Zscaler,以及歐盟網路安全局 ENISA。

「主打資安」要打點折扣。模型卡原文是「While a generalist model, it shows especially good performance on workloads such as cybersecurity, finance, and law」,它是通用模型。為滲透測試、紅隊演練特別調過的版本,只以預覽方式提供給 Orange Cyberdefense 等企業夥伴,這次沒有開放下載。

綜合能力方面,模型卡寫它在 Artificial Analysis Intelligence Index v5 拿 26 分,是西方開放權重模型最高,也承認中國的開放模型分數更高;Hugging Face 10 月 29 日的部落格寫它當天在這個指數排開放權重模型第五。

公告引用 Surge 的盲測,Large 4 在受測模型中只排在 Anthropic 的 Claude Opus 5.5 後面(利益揭露:AIng 文章由 Anthropic 的 Claude 協助產製)。

可以商用,賣 API 要另簽約

授權不是 Apache 2.0。Large 4 用的是 Mistral 自訂的 Mistral Ecosystem Open-Weight License(條款原文),由 MIT 授權修改而來:可以免費使用、修改、再訓練、販售。第 2 條管的是經營「模型即服務(Model as a Service)」的業者,也就是讓第三方透過 API 自己控制輸入與參數的服務,這類業者商用前要另外跟 Mistral 簽約。把模型能力嵌在自家產品功能裡,或只在公司內部使用,都不受這條限制。

Hugging Face 頁面沒有設下載審核,條款也沒有地區限制,台灣公司可以直接下載部署。Mistral 沒有台灣官方通路或新台幣價格;API 定價每百萬 token 輸入 0.70 美元、快取輸入 0.07 美元、輸出 2.10 美元。模型卡說它支援 160 種以上語言,但沒有列出繁體中文的成績,這點我們還不確定,要實際測過才知道。

有資料不能出境需求的台灣銀行、資安廠商與政府單位,會不會為了一個開放權重模型採購整台 8 卡 Blackwell 伺服器,目前還沒有公開案例。

追蹤 AIng:RSS・AI 名詞庫・投稿與更正

內容與來源

圖片使用依據:AIng 以 AI 生成的示意插圖,由站長提供;非實景照片,未使用外部照片、真實人物或企業標誌。

AIng 創作原則 →