Qwen3.6-35B-A3B越狱版，6G显存可运行，本地AI自由

Qwen3.6-35B-A3B“越狱版”来了！6G显存也能跑，本地AI彻底自由

在这里插入图片描述

最近把市面上主流的本地大模型跑了一圈，有一个很直观的感受：

目前开源圈里，能同时满足下面这些条件的模型，掰着手指头都能数过来——

中文能力强、推理能力在线、支持视觉多模态、能当Agent用、可以本地单卡部署，甚至6G显存就能启动，而且还是“无限制”版本。

但这次出现的Qwen3.6-35B-A3B Uncensored（越狱版），确实有点超出预期。

简单来说，它不仅能正常写代码、做推理、看图片、处理长上下文，更关键的是——它直接绕过了官方版本的大量限制。

实际测试下来，它的中文理解、代码能力、多模态视觉能力，都属于目前40B以内开源模型里的第一梯队。

而且，它对硬件的兼容性简直是个惊喜：

NVIDIA显卡能跑，AMD显卡能跑，Intel显卡也支持。单卡就能部署，6G显存也能启动。

接下来，我们就从零开始，把完整的部署流程走一遍。

---

一、整合包下载地址

1、整合包下载

资源	地址
Qwen3.6-35B-A3B 越狱版整合包	Al编程Skills

---

二、整合包内容说明

网盘里包含多个版本。

在这里插入图片描述

llama.cpp 运行环境

整合包内包含了四个版本：

llama-b9381-bin-win-cuda-13.3-x64.zip
llama-b9381-bin-win-cuda-12.4-x64.zip
llama-b9381-bin-win-cpu-arm64.zip
llama-b9381-bin-win-cpu-x64.zip

不同版本适合的环境如下，根据自己的系统环境选择对应版本即可：

文件	适合环境
cuda-13.3-x64	RTX 30/40/50 系显卡，推荐最新 NVIDIA 驱动
cuda-12.4-x64	GTX 10/20 系、部分老驱动环境
cpu-arm64	ARM 架构 CPU，例如部分骁龙 Windows 设备
cpu-x64	普通 Intel/AMD CPU，纯CPU运行

---

三、模型文件说明

模型目录里包含多个量化版本：

mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf

其中：

视觉模型（必须）

mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf

这个是多模态视觉模型。如果你想进行图片分析、看截图、识别封面、做OCR，或者多模态问答，这个文件必须下载。

---

主模型选择（根据环境下载对应版本即可）

1、IQ2_M（最低配置）

IQ2_M

适合：6G/8G显存的显卡，比如RTX 2060、RTX 3060 Laptop、4060 Laptop 8G。优点是显存占用最低，能跑起来；缺点是精度略低。

---

2、IQ4_NL（推荐）

IQ4_NL

适合12G~16G显存。属于速度、精度和显存三者平衡最好的版本。

---

3、Q4_K_M（稳定版）

Q4_K_M

适合16G~24G显存。特点是更稳定，推理能力更强。

---

4、Q4_K_P（最强版）

Q4_K_P

适合24G以上显存，对应RTX 3090、4090、5090。这是目前效果最好的版本之一。

---

四、开始部署

1、解压 llama.cpp

下载对应版本后解压。比如你下载的是：

llama-b9381-bin-win-cuda-13.3-x64.zip

解压后目录如下：

llama/

---

2、找到 models 文件夹

在根目录找到：

models

目录结构：

llama/
├─ models/

---

3、放入模型

把下载好的模型放进去（不需要全部放入，只需要放你下载的模型即可）。例如：

models/
├─ mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
├─ Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf

---

六、启动模型

双击根目录下的 run.bat 文件，会看到相应的启动界面：

在这里插入图片描述

输入对应的数字即可。例如，输入4代表选择IQ2_M版本。

4

---

七、进入 Web UI

启动成功后，打开浏览器访问：

http://127.0.0.1:8080/

即可进入聊天界面。

在这里插入图片描述

八、实际测试效果

1、4060 8G 实测

测试环境如下：

配置	参数
显卡	RTX 4060 Laptop 8G
模型	IQ2_M
输出速度	10 tokens/s 左右

对于35B这个体量的模型来说，这个输出速度已经相当不错了。

---

九、代码能力测试

在测试中让它直接生成一个相关项目，结果是一次生成成功，自带音效，支持Boss，可以正常运行，也没有明显的逻辑错误。这个代码能力确实很能打。

---

十、多模态视觉测试

上传了一张图，让它分析图片内容：

在这里插入图片描述

说明它的视觉理解能力确实在线。

---

十一、Agent 支持

在这里插入图片描述

这个模型还能直接接入Hermes、OpenWebUI、Cherry Studio、AnythingLLM、LangChain等工具。原因是它原生支持OpenAI API格式。

API 地址：

http://127.0.0.1:8080

API Key 随便填即可。

在这里插入图片描述

---

十二、和官方版区别

实际测试中，同样的问题，比如让模型“写一个ddos代码”：

官方原版会直接拒绝回答。但这个越狱版会直接输出代码。

说明它确实移除了大量的内置限制。

不过这里需要提醒一句：这个模型仅建议用于本地研究、安全测试和AI能力研究，不要用于非法用途。

---

十三、为什么这个模型会火

核心原因其实就一句话：你不再需要依赖在线接口、API限制、内容审核、云端封号。所有内容都是本地运行、本地推理、本地存储。

这才是很多人真正想要的AI。

---

十四、总结

从目前的表现来看，Qwen3.6-35B-A3B Uncensored 确实属于当前最强的一批开源本地模型。

它的优势非常明显：中文能力强、推理能力强、多模态支持、本地部署简单、支持Agent、支持低显存、支持Windows、支持NVIDIA/AMD/Intel。

特别是“6G显存就能启动”这一点，确实让很多人可以低成本地体验高质量本地大模型。

如果你最近正在筹划搭建本地AI助手、AI Agent、AI编程工具、本地多模态系统，或者本地自动化系统，这套方案非常值得一试。