Ollama v0.40.5发布：支持Nemotron 3.5 Super模型与云端决策模型

技术要点

Ollama v0.40.5版本的核心更新围绕模型支持、云端服务与稳定性改进展开。

1. 新增NVIDIA Nemotron 3.5系列模型支持：
   • Nemotron 3.5 Super：这是一个用于编码、推理、工具使用和文档理解的视觉语言模型。其骨干网络是一个120B参数的混合Mamba-2/Transformer混合专家（MoE）模型，每token激活12B参数。它搭配C-RADIO视觉编码器，支持工具调用、可开关的思考模式，以及高达1M token的上下文。用户可通过ollama run nemotron-3.5-super命令运行。
   • Nemotron 3.5 Bolt：这是Super模型的紧凑衍生版本，蒸馏至74B参数（每token激活9B），针对24 GB NVIDIA GPU进行优化，适用于日常代理任务。它包含一个draft器以支持推测解码。
2. 决策模型云端化：决策模型现在可通过clef:cloud和clef-flash:cloud命令在ollama.com云端运行，无需本地下载模型。
3. 修复与改进：
   • 修复了继续一个包含自定义工具调用的OpenAI兼容Responses对话时不再失败的问题。
   • 当云端访问失败时（如桌面应用的登录问题、支付问题或ChatGPT网关的上游访问错误），提供了更清晰的错误消息。
   • 更新了llama.cpp（增加Nemotron 3.5支持）和MLX。

原理与背景

本次更新反映了Ollama在扩展模型生态与提升服务可用性方面的方向。

NVIDIA Nemotron 3.5 Super模型采用混合Mamba-2/Transformer MoE架构，这种设计旨在平衡计算效率与模型能力。MoE结构通过每token只激活部分专家参数，在保持大模型强大性能的同时，降低了推理时的计算开销。1M token的上下文支持使其能够处理超长文档或复杂的多轮对话场景。C-RADIO视觉编码器的引入，则赋予了模型理解图像信息的能力，使其成为真正的视觉语言模型。

Nemotron 3.5 Bolt作为蒸馏版本，其设计动机是降低部署门槛。将参数从120B压缩至74B，并优化以适应24 GB显存的消费级GPU，使得更广泛的用户能够在本地硬件上运行功能强大的代理模型。推测解码（speculative decoding）的加入，旨在进一步提升推理速度。

决策模型云端化的提供，解决了用户本地部署决策模型可能面临的硬件资源不足或配置复杂的问题。通过云端API调用，用户可以快速体验决策能力，无需管理模型文件与本地推理环境。

修复自定义工具调用导致的对话失败问题，是为了保障基于Ollama构建的、遵循OpenAI兼容接口的应用（如某些AI助手或工作流工具）的稳定性。清晰的错误消息则有助于用户快速定位云端服务访问中的具体问题，如认证或网络故障。

落地建议

对于开发者与运维人员，本次更新提供了新的工具选择与部署思路。

1. 模型选型与部署：根据任务需求与硬件条件选择模型。若需处理视觉信息、长上下文或复杂推理，可尝试Nemotron 3.5 Super。若本地GPU显存有限（如24GB），Nemotron 3.5 Bolt是更可行的选择。使用ollama run命令即可快速拉取和运行。
2. 利用云端服务简化流程：对于决策模型，可优先考虑使用clef:cloud等云端命令。这避免了本地下载大模型文件的时间与存储开销，适合快速原型开发或资源受限的环境。
3. 关注错误提示进行排查：当使用云端功能遇到错误时，应仔细阅读Ollama提供的错误消息。它明确指出了是登录、支付还是上游网关问题，这为问题排查提供了直接线索。
4. 保持组件更新：Ollama通过更新llama.cpp等底层组件来支持新模型。定期升级Ollama版本，可以确保获得最新的模型支持与性能优化。
5. 测试工具调用兼容性：如果开发基于Ollama的、涉及自定义工具调用的应用，建议在v0.40.5版本上进行测试，确保包含工具调用的对话能够正常持续。