Latent Space·· 3 小时前精选AI 评分78
DeepSeek 开源推理框架 DeepInfer，披露单集群 155T tokens/天与单卡每小时 38 美元营收
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 处理 Chat Completions、Responses、Messages 等 API 协议转换与输出解析。
推荐理由
DeepSeek 开源生产推理栈并披露单集群吞吐与单卡营收数据，vLLM 随后给出接近的复现结果，可对照看开源推理栈的真实差距。
来源：Latent Space · latent.space