揭秘OpenCLAW与VLLM：高效AI推理服务新趋势

1，起vllm服务

部署的第一步，是启动vllm服务。参考vllm官方文档，命令并不复杂。不过，有几个参数值得注意，尤其是后续涉及到工具调用和思考链时，它们很关键。

举个例子，如果你想在GPU 0和1上部署Qwen3-32B模型，可以使用以下命令：

CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server \
--model Qwen3-32B \
--served-model-name qwen3-32b \
--tensor-parallel-size 2 \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--port 50072

这里有几个点需要强调：--enable-auto-tool-choice和--tool-call-parser hermes是核心。如果你的应用场景需要模型调用工具，那么这两个参数必不可少，它们能确保工具调用的格式被正确解析。另外，关于上下文长度参数--max-model-len，一般建议不设置。为什么呢？因为vllm默认会读取模型配置文件（config.json）里的max_position_embeddings值。如果我们手动设置一个超过这个上限的值，反而会引发错误，得不偿失。

2，openclaw配置vllm的provider

服务启动后，下一步就是让openclaw接入它。这个过程相当直观。

直接运行 openclaw onboard 命令来配置provider。在交互式界面中，填上我们刚启动的vllm服务的地址，大概长这样：http://你的IP:50072/v1。模型名称就填写启动服务时定义的--served-model-name，比如上面的qwen3-32b。apiKey这一栏可以随意填写一个字符串。配置完成后，openclaw就可以直接调用我们本地的vllm服务进行推理了，想怎么测试都行，完全不用担心在线API的token消耗问题。

问题

如何停止vllm服务，换个模型重启？

直接粗暴地使用kill -9可能会带来一些问题，比如GPU显存没有及时释放。推荐的做法是分两步走：

# 先发送SIGTERM信号，优雅地终止服务进程
pkill -15 -f vllm.entrypoints.openai.api_server
# 等待GPU显存完全释放后，再强制清理残留进程
pkill -9 -f vllm

这样操作能确保服务平稳下线，方便我们更换其他模型重新启动。

关于模型长度的选择

这里有个实际的坑。最初尝试使用Qwen3-32B，它的max_position_embeddings只有40960。在openclaw这种多轮对话和复杂任务场景下，这个上下文长度很快就用完了，频繁触发长度超限的错误，基本无法正常工作。

于是转向了Qwen3-VL-32B-Instruct模型。它的最大上下文长度达到了惊人的26万，理论上完全够用。但实际测试中发现，模型在处理任务时，容易陷入“一直在读取文件”的循环，表现并不理想。这多少有点可惜，虽然Qwen3-VL系列融合了图像、视频和长文本处理能力，但其纯文本的长上下文推理能力可能确实还有优化空间。

在Docker中运行openclaw

如果你选择在Docker容器内安装openclaw，需要注意一个细节：openclaw gateway命令需要在容器内前台运行，不能直接后台启动，否则服务可能无法正常建立连接。

如何隐藏Qwen3-VL-32B-Thinking模型的思考过程？

这是一个很具体的问题。即使你在前端界面已经设置了 /think off 和 /reasoning off，模型“思考”的中间内容有时仍然会显示出来，影响最终答案的纯净度。

关键在于vllm的启动参数。解决方法是在启动命令中显式添加解析器参数：--reasoning-parser deepseek_r1。

这个参数的作用机理是这样的：如果不加，模型所有的输出，包括推理过程和最终答案，都会被塞进返回信息的content字段里。加上之后，vllm就能准确地将“思考”（reasoning）内容和“最终答案”（content）拆分到不同的字段中。前端只需读取content字段，自然就不会展示思考过程了。加上这个参数后，问题迎刃而解。

调试与日志

如果需要深度调试，查看vllm到底收到了什么样的prompt，可以设置环境变量VLLM_LOGGING_LEVEL=DEBUG。这会让vllm打印出非常详细的日志，其中就包含了完整的prompt信息。不过要小心，开启DEBUG模式后，日志信息会非常庞大。

SkillHub插件安装问题

安装SkillHub插件后，有时会遇到重启openclaw也不生效的情况。一个常见的解决方案是手动配置一下系统的PATH环境变量。执行以下命令，将用户本地bin目录加入路径：

export PATH="~/.local/bin:$PATH"

之后再次重启openclaw服务，插件通常就能正常加载并工作了。