DeepSeek 計畫訓練 8 萬億參數模型

DeepSeek CEO 梁文鋒向投資人透露，公司正在訓練一個 2 萬億參數模型，之後還計劃開發一個 8 萬億參數模型。現有旗艦 V4-Pro 總參數為 1.6 萬億。

目前已公開權重的超大模型中，Moonshot AI 的 Kimi K3 達到 2.8 萬億參數。Kimi K3 採用 MoE 架構，2.8 萬億總參數中每個 Token 激活 1040 億參數。DeepSeek 規劃中的 8 萬億參數模型規模接近其近 3 倍。

DeepSeek 於 7 月完成超 500 億元融資，估值超 500 億美元。V4-Pro 以 1.6 萬億總參數、490 億激活參數開源。