技术分享

共 1 篇

关键词「推理路由」的检索结果

我要投稿
关键词「推理路由」 找到 1 篇检索范围:技术分享
Ollama v0.40.4-rc1 发布要点
技术分享

Ollama v0.40.4-rc1 发布要点

Ollama v0.40.4-rc1 是 v0.40.4 首个候选版本。变更包括:llama 层将 llama.cpp 更新至 b11521 以支持决策模型与 EmbeddingGemma 2;server 层在推理路由中复用已验证清单与已加载模型;mlx 层在投机回滚后压缩恢复的循环状态;launch 层在 Codex 的 /model 选择器中包含已安装模型;MLX 与 MLX-C 版本升级。

UniMgr 技术编辑 27