10月20日,DeepSeek宣布將在之前開源一系列大模型、TileLang編譯工具及推理算子庫的基礎(chǔ)上,進(jìn)一步全面開源內(nèi)部推理框架“DeepInfer”,并同步開放編解碼組件deepseek-recipe。此舉旨在降低使用成本。

DeepSeek公開的信息顯示,推理框架DeepInfer集成高性能算子與深度優(yōu)化的推理引擎,支持分布式推理、推測(cè)解碼、SWA Bounded Replay、結(jié)構(gòu)化輸出等能力,并兼容英偉達(dá)與華為昇騰算力平臺(tái)。配套開源的deepseek-recipe用于處理應(yīng)用請(qǐng)求與模型輸入、輸出之間的轉(zhuǎn)換,幫助第三方部署對(duì)齊官方API的處理邏輯。
DeepSeek表示,大模型的能力邊界由模型本身劃定,但如何以合理成本提供超大規(guī)模的模型服務(wù)還取決于一個(gè)長(zhǎng)期未被公眾了解的中間層,即推理框架。面對(duì)如今海量的用戶調(diào)用,推理框架負(fù)責(zé)統(tǒng)籌調(diào)度龐大的算力集群,其效率直接決定了AI服務(wù)的算力成本與電力消耗。DeepSeek長(zhǎng)期致力于將推理性能推向極致,因此做出這一開源決定,致力于實(shí)現(xiàn)大模型普惠。
基于DeepInfer,DeepSeek已實(shí)現(xiàn)DeepSeek V4.1 Flash的高吞吐、低延遲大規(guī)模推理服務(wù)。后續(xù)新模型的推理代碼及優(yōu)化也將在該框架內(nèi)持續(xù)更新。在全球頭部大模型企業(yè)中,DeepSeek是首個(gè)開放原生實(shí)際運(yùn)行推理框架的企業(yè)。這意味著云廠商可以使用DeepSeek原生推理框架部署DeepSeek模型,實(shí)現(xiàn)接近DeepSeek官方調(diào)用的性能和成本。在負(fù)載調(diào)度合理的情況下,大規(guī)模云廠商部署非原生DeepSeek的調(diào)用成本甚至存在低于官方原生的可能性。
DeepSeek希望通過分享內(nèi)部的部署經(jīng)驗(yàn),幫助開發(fā)者與企業(yè)組織優(yōu)化大規(guī)模推理的吞吐與延遲,從而高效構(gòu)建私有化及公有云部署,降低算力成本,減少能源消耗,讓智能以更低的價(jià)格觸達(dá)更廣泛的人群,實(shí)現(xiàn)真正的大模型普惠。
2025年烏鎮(zhèn)峰會(huì)期間,舉行了“六小龍烏鎮(zhèn)對(duì)話”,前沿科技企業(yè)代表圍繞全球人工智能技術(shù)創(chuàng)新發(fā)展等前沿趨勢(shì)進(jìn)行交流,探索通過跨界合作共同應(yīng)對(duì)全球性議題。2026年烏鎮(zhèn)峰會(huì)將于11月2日至5日舉行,聚焦“開源開放”主題。屆時(shí),全球嘉賓將圍繞人工智能開源開放發(fā)展的理念與實(shí)踐多個(gè)維度展開深入交流,共同探索在AI快速發(fā)展的階段如何進(jìn)一步推動(dòng)技術(shù)開放、創(chuàng)新協(xié)作和成果共享。




