Ollama v0.40.5 发布:支持 Nemotron 3.5 模型与云端决策模型
新增NVIDIA Nemotron 3.5 Super/Bolt模型支持,决策模型云端可用,错误提示优化
Ollama v0.40.5版本于2026年10月15日发布,主要新增对NVIDIA Nemotron 3.5 Super和Bolt模型的支持。Super模型为120B参数混合专家模型,支持1M token上下文;Bolt模型为74B参数,适配24GB GPU。决策模型现可通过clef:cloud和clef-flash:cloud在云端运行。同时改进了云端访问失败时的错误提示信息。
技术要点
Ollama v0.40.5版本的核心更新围绕新模型支持与云服务体验优化展开。
首先,新增了对NVIDIA Nemotron 3.5系列模型的支持。其中,Nemotron 3.5 Super是一个视觉语言模型,用于编码、推理、工具使用和文档理解。它采用一个120B参数的混合Mamba-2/Transformer混合专家(MoE)骨干网络,每个token激活12B参数,并搭配C-RADIO视觉编码器。该模型支持工具调用、开启/关闭的思考模式,以及高达1M token的上下文长度。
其次,推出了Nemotron 3.5 Bolt,这是Super模型的紧凑版本。它蒸馏自Super模型,拥有74B参数(每个token激活9B参数),并针对适配24 GB NVIDIA GPU的日常代理任务进行了调优。Bolt模型还包含了用于推测解码的drafters。
第三,决策模型(decision models)现在可在云端运行。用户可以使用clef:cloud和clef-flash:cloud通过ollama.com云端运行决策模型,而无需在本地拉取模型。
第四,改进了错误处理与用户体验。当继续一个包含自定义工具调用的OpenAI兼容Responses对话时,不再会因错误而失败。同时,当云端访问失败时(如桌面应用中的登录问题、支付问题或来自ChatGPT网关的上游访问错误),会提供更清晰的错误信息。
最后,底层库也得到了更新,包括添加了Nemotron 3.5支持的llama.cpp和MLX。
原理与背景
本次更新反映了Ollama在模型生态扩展和云服务整合方面的方向。
Nemotron 3.5 Super模型采用的混合Mamba-2/Transformer MoE架构,旨在平衡性能与效率。MoE结构通过每个token只激活部分专家网络(12B/120B),在保持大模型强大能力的同时,降低了计算开销。C-RADIO视觉编码器的加入,使其具备了处理视觉信息的能力,拓展了应用场景。支持1M token的长上下文,满足了需要处理大量文档或复杂推理任务的需求。
Nemotron 3.5 Bolt作为Super的蒸馏版本,其设计动机是降低部署门槛。74B参数且适配24GB GPU的配置,使得更广泛的硬件能够运行此类高性能模型。推测解码(speculative decoding)的引入,旨在进一步提升推理速度。
决策模型云端化的支持,解决了用户本地资源不足或希望快速体验特定模型的问题。通过clef:cloud等标识,Ollama将模型推理负载转移到云端,为用户提供了更灵活的使用方式。
错误信息的优化,则直接针对用户在集成Ollama云服务时可能遇到的常见障碍(如认证、计费、网络)进行改进,旨在降低排查问题的难度,提升整体使用体验。
落地建议
对于希望利用本次更新的后端或运维工程师,可以考虑以下通用做法。
在本地环境部署新模型时,需关注硬件要求。例如,运行Nemotron 3.5 Bolt需确保有至少24 GB显存的NVIDIA GPU。对于Super模型,则需评估其120B参数规模对计算资源的需求。
在使用云端决策模型功能时,应熟悉clef:cloud和clef-flash:cloud等命令格式。注意云端服务可能涉及的账户登录、付费状态等前置条件,并确保网络能够访问相关网关。
当遇到云端访问错误时,可依据更清晰的错误提示进行初步排查。例如,区分是本地登录凭证问题、账户支付问题,还是上游服务不可用,从而采取相应的解决步骤。
在开发涉及工具调用的应用时,可测试Ollama对OpenAI兼容Responses对话的支持,确保自定义工具调用流程能够稳定运行。
对于模型维护者,关注llama.cpp和MLX等底层库的更新,有助于理解Ollama性能优化和兼容性改进的基础。
技术分享更多资讯
布里吉斯游戏引擎更新:波次与技能机制重构
游戏开发者布里吉斯发布最新技术更新,重点重构了敌人波次生成逻辑与干员技能释放机制。此次更新涉及底层数据配置与快照保存系统的优化,为后续数据库更新及前端开发奠定基础。开发者透露将学习Unity引擎技术,并计划未来转向自研引擎,标志着项目从原型向工业化开发的重要转型。
Agent 上下文治理全景原则篇:构建目标导向的智能判断体系
本文聚焦 Agent 上下文治理的核心原则,从目标、依据、边界、记忆、探索及进展六个维度,深入剖析上下文机制如何辅助智能体围绕既定任务进行持续且精准的判断。通过明确各机制职责,旨在提升 Agent 在复杂环境下的任务执行效率与稳定性,为构建更可靠的 AI 系统提供理论框架与实践指导。
Python 3.13 引入 Queue.shutdown 解决异步退出难题
Python 3.13 正式引入 Queue.shutdown 方法,旨在解决异步消费者在收到停止信号后难以优雅退出的长期痛点。此前,开发者需手动处理取消信号,常导致部分已取出的任务处理中断或资源泄漏。新特性简化了异步队列的生命周期管理,提升了并发编程的可靠性与代码简洁性,对 Python 异步生态具有积极意义。
游戏团队管理进阶:从被动救火到主动规划
本文基于对游戏团队管理实践的深入思考,指出许多管理者陷入“解决问题”的时间陷阱。通过定期复盘日程,作者发现大量精力耗费在应对架构、需求及人员冲突等突发状况上。文章主张管理者应转变思维,从被动响应转向主动发现潜在问题,优化团队效能,避免陷入低效的救火循环,为游戏行业团队管理提供新的视角。