Ollama v0.40.4-rc1 发布要点

技术要点

Ollama v0.40.4-rc1 是 v0.40.4 的第一个候选版本（rc1），于 2026-10-13T05:26:17.000Z 发布，完整变更范围记录在 v0.40.3...v0.40.4-rc1 的 Full Changelog 中。本次候选版本共包含五项主要变更：

• llama：将 llama.cpp 更新至 b11521，用于支持决策模型（decision models）与 EmbeddingGemma 2（#18917，@jmorganca）。
• server：在推理路由中复用已验证的清单（verified manifests）与已加载的模型（#18947，@dhiltgen）。
• mlx：在投机回滚（speculative rollback）之后压缩恢复的循环状态（recurrent state）（#18955，@dhiltgen）。
• launch：在 Codex 的 /model 选择器中包含已安装的模型（#18887，@ParthSareen）。
• MLX、MLX-C：进行版本升级（#18956，@dhiltgen）。

原理与背景

这次候选版本的变更集中在三个方向：模型支持、推理效率与本地推理栈的稳定性。

llama.cpp 更新至 b11521 的直接目的是解锁两类新的模型能力：决策模型与 EmbeddingGemma 2。决策模型面向需要输出动作或决策的场景，EmbeddingGemma 2 则面向向量嵌入场景，二者都需要底层推理引擎提供相应的算子与张量路径，因此需要通过升级底层来启用。

server 层在推理路由中复用已验证清单与已加载模型，核心动机是减少重复开销。同一模型在多次请求中本应共享同一份已加载的内存表示与已校验的清单，避免每次推理都重新校验与重新加载。

mlx 相关改动针对 Apple Silicon 上的本地推理。投机解码在猜测失败时需要回滚到之前的状态，回滚后恢复的循环状态可能包含冗余或中间量，压缩这一步有助于回收与整理状态。MLX 与 MLX-C 的版本升级则属于依赖项的同步更新。

launch 层把已安装模型纳入 Codex 的 /model 选择器，是交互层面的调整，让用户在 Codex 中可以直接选用本机已安装的模型。

落地建议

对于正在评估或准备升级的工程师，可以关注以下几点通用做法：

• 候选版本（rc）用于收集反馈与回归测试，生产环境建议先在隔离环境验证，再决定是否跟进。
• 升级底层引擎（如 llama.cpp）可能带来行为变化，建议对照变更清单核对受影响的模型与推理路径。
• 关注推理路由的复用策略是否与你现有的模型加载方式兼容，避免因清单校验逻辑差异导致加载异常。
• 在 Apple Silicon 设备上测试投机解码相关改动，观察回滚与状态压缩对显存与延迟的实际影响。
• 升级前记录当前版本与配置，便于在出现问题时回退到上一个稳定版本。