技術(shù)
導(dǎo)讀:DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個(gè)實(shí)驗(yàn)性(Experimental)的版本。寒武紀(jì)也宣布,已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開(kāi)源大模型推理引擎 vLLM-MLU 源代碼。
9 月 30 日消息,DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個(gè)實(shí)驗(yàn)性(Experimental)的版本。寒武紀(jì)也宣布,已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開(kāi)源大模型推理引擎 vLLM-MLU 源代碼。
寒武紀(jì)稱,一直高度重視大模型軟件生態(tài)建設(shè),支持以 DeepSeek 為代表的所有主流開(kāi)源大模型。借助于長(zhǎng)期活躍的生態(tài)建設(shè)和技術(shù)積累,寒武紀(jì)得以快速實(shí)現(xiàn)對(duì) DeepSeek-V3.2-Exp 這一全新實(shí)驗(yàn)性模型架構(gòu)的 day 0 適配和優(yōu)化。
針對(duì)本次的 DeepSeek-V3.2-Exp 新模型架構(gòu),寒武紀(jì)通過(guò) Triton 算子開(kāi)發(fā)實(shí)現(xiàn)了快速適配,利用 BangC 融合算子開(kāi)發(fā)實(shí)現(xiàn)了極致性能優(yōu)化,并基于計(jì)算與通信的并行策略,再次達(dá)成了業(yè)界領(lǐng)先的計(jì)算效率水平。依托 DeepSeek-V3.2-Exp 帶來(lái)的全新 DeepSeek Sparse Attention 機(jī)制,疊加寒武紀(jì)的極致計(jì)算效率,可大幅降低長(zhǎng)序列場(chǎng)景下的訓(xùn)推成本,共同為客戶提供極具競(jìng)爭(zhēng)力的軟硬件解決方案。