DeepSeek一體機

單機可部署R1 671B滿血版
兼容CUDA

全精度高并發(fā)

國內(nèi)唯一單機16卡全精度16/8/4bit下高并發(fā)滿血版DeepSeek-R1/V3

長窗口低延時

BF16精度下8K+Tokens輸入每秒解析延遲保持在50毫秒

極致推理加速

自研OpenTrek-LLM相比開源vLLM版本可提升吞吐50%，延時降低100%

模板開箱即用

預(yù)置數(shù)據(jù)知識處理+蒸餾微調(diào)訓(xùn)練+智能體搭建一體工具鏈與應(yīng)用模版

性能報告

模型	精度	顯存	總吞吐(tokens/s)	并發(fā)數(shù)
DeepSeek-R1/V3	BF16	1536GB	3708	256
DeepSeek-R1/V3	INT8	1536GB	5872	512

一體機系列推薦

	訓(xùn)推一體機	智能體一體機	高性能一體機
特性	單機16卡DeepSeek滿血版支持16/8/4bit全精度推理，實現(xiàn)軟硬一體的訓(xùn)練和推理性能極致加速，實現(xiàn)全棧AI可觀測	搭載模型微調(diào)、數(shù)據(jù)知識處理和智能體RAG搭建的全棧大模型工具鏈，具備高效訓(xùn)推性能，預(yù)制應(yīng)用模板開箱即用	支持高網(wǎng)環(huán)境下多機多卡的高性能PD分離式推理與分布式訓(xùn)練，支持模型蒸餾后訓(xùn)練可納管異構(gòu)GPU,支持并行化多模態(tài)數(shù)據(jù)預(yù)處理與海量向量RAG檢索
智算	APG 16卡單臺	APG 16卡單臺	APG 16卡 2-10臺
通算	-	海光 3臺	海光 3臺+
交換機	-	25GE	200GE/400GE
軟件	預(yù)裝內(nèi)置容器/存儲/緩存/數(shù)據(jù)庫
軟件	訓(xùn)推平臺	訓(xùn)推+智能體平臺	訓(xùn)推+智能體平臺
服務(wù)	軟硬件安裝部署、性能調(diào)優(yōu)測試、行業(yè)模型訓(xùn)練、智能體應(yīng)用搭建
可支持模型列表： DeepSeek-R1/V3、DeepSeek蒸餾全尺寸、Qwen全尺寸、Qwen-VL全尺寸、全模態(tài)解析模型、向量模型、精排模型

一體機系列

實現(xiàn)DeepSeek R1/V3及其蒸餾模型的極致適配，確保推理性能和效率達到最優(yōu)狀態(tài)