跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–6 条 · 共 6 条
9月29日周二
  1. Simon Willison82

    OpenAI DevDay 2026 现场实录:Dots、GPT-6.1 Sol 与 Ultrafast 发布

    Simon Willison 在旧金山 Fort Mason 现场直播 OpenAI DevDay 2026 主题演讲,OpenAI 发布名为 Dots 的个人智能体产品,由 Astra 模型驱动,ChatGPT Pro 和 Enterprise 用户当天可用,并配套推出 ChatGPT Space 供团队协作。

    推荐理由:现场逐条记录 DevDay 发布节奏与演示翻车细节,可对照官方口径看新功能实际落地情况。

9月17日周四
  1. GitHub Blog · AI & ML75

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust

    GitHub 用 Copilot 应用和 CLI 将 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,代码主要由 AI 智能体编写,跨 128 个 PR 增量合入 main,性能提升数个数量级。

    推荐理由:GitHub 工程师复盘用 Copilot 把运行时迁到 Rust 的全过程,含并发会话协作与提示缓存等可迁移经验。

9月5日周六
  1. GitHub Blog · AI & ML60

    GitHub 推出 Project HydraFusion 多模型编排研究预览

    GitHub 发布 Project HydraFusion 研究预览,通过运行时编排在多个提供商的模型间选择执行方案,用户可在 GitHub Copilot CLI 中通过 /experimental 启用,按各模型标准费率计费。

    推荐理由:GitHub 官方给出多模型编排的三种执行模式与三项基准的成本质量对比,可据此判断编排式编码智能体的取舍。

6月11日周四
  1. Google DeepMind66

    Google DeepMind 发布 DiffusionGemma:文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成整块文本,在专用 GPU 上推理速度最高提升 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 26B MoE 文本扩散模型的速度、显存占用与质量取舍,便于判断本地低并发场景是否适用。

5月17日周日