本地模型
在本地运行是可行的,但 OpenClaw 建议使用大上下文并配备强大的提示注入防御机制。小型模型会截断上下文并削弱安全性。目标要高:至少配备两台满配 Mac Studio 或等效 GPU 集群(约 3 万美元以上)。单块 24 GB 显卡仅适用于较轻量的提示,且延迟较高。请尽可能使用你能运行的最大尺寸/全尺寸模型变体;经过激进量化或“小型”检查点会显著增加提示注入风险(参见 安全)。推荐方案:LM Studio + MiniMax M2.1(Responses API,全尺寸)
当前最佳的本地部署方案。在 LM Studio 中加载 MiniMax M2.1,启用本地服务器(默认http://127.0.0.1:1234),并通过 Responses API 将推理过程与最终文本生成分离。
- 安装 LM Studio:https://lmstudio.ai
- 在 LM Studio 中下载可用的最大 MiniMax M2.1 构建版本(避免“小”或高度量化的变体),启动服务器,并确认
http://127.0.0.1:1234/v1/models中已列出该服务器。 - 保持模型始终加载;冷加载会导致额外的启动延迟。
- 如果你的 LM Studio 版本有所不同,请相应调整
contextWindow/maxTokens。 - 对于 WhatsApp,务必使用 Responses API,以确保仅发送最终文本。
models.mode: "merge" 确保备用方案始终可用。
混合配置:以托管为主、本地为辅
本地优先,托管作为安全网
将主用和备用的顺序互换;保留相同的提供商配置块和models.mode: "merge",以便在本地系统宕机时能够无缝切换到 Sonnet 或 Opus。
区域性托管与数据路由
OpenRouter 还提供托管版 MiniMax、Kimi 和 GLM 变体,并配备按区域锁定的端点(例如美国托管)。选择相应的区域变体,即可在你指定的司法管辖区内处理流量,同时仍可通过models.mode: "merge" 使用 Anthropic 或 OpenAI 作为后备。
本地运行仍然是保护隐私的最佳方式;当您既需要提供商的功能特性,又希望对数据流动保持控制时,区域性托管便是一种折中方案。
其他兼容 OpenAI 的本地代理
只要vLLM、LiteLLM、OAI-proxy或自定义网关能够暴露符合OpenAI标准的/v1端点,就可以使用。你只需将上述提供商配置块替换为你自己的端点和模型ID:
models.mode: "merge" 以确保托管模型仍可作为备用。
故障排除
- 网关能否成功连接到代理?请查看
curl http://127.0.0.1:1234/v1/models。 - LM Studio 中的模型是否已卸载?请重新加载模型;冷启动是导致“挂起”的常见原因。
- 是否出现上下文错误?请降低
contextWindow设置,或提高服务器的上下文限制。 - 安全注意事项:本地模型会绕过提供商侧的过滤机制,因此请尽量缩小智能体的作用范围,并启用压缩功能,以限制提示注入的影响范围。