一、 为什么说本地 AI Agent 改变了游戏规则?
长期以来,像 OpenAI Codex、Claude Code 或 Cursor 等 AI 编程工具极度依赖云端 API。大型项目的代码扫描与 Agent 推理往往伴随着高昂的 Token 消费。
随着 Ollama 0.24 版本的发布,本地大模型终于打破了这一局限,实现了从“聊天机器人”向“任务执行 Agent”的跨越:
零成本与完全离线: 依赖本地 GPU 推理,不消耗任何 Token,断网状态下依旧能够流畅运行。
从“回答”到“执行”: 具备自动分析项目结构、扫描代码、定位并修复 Bug、乃至自主开发网页与操作浏览器的全套能力。
极低的硬件门槛: 借助最新的量化模型,最低只需 6GB~8GB 显存 即可在本地流畅体验 Agent 编程。
二、 准备工作与软件安装
1. 安装 OpenAI Codex
2. 安装/升级 Ollama
三、 核心配置与模型下载
在 4B~40B 消费级显卡区间内,强烈推荐 Qwen 3.6 与 谷歌 Gemma 4,两者在代码编写、逻辑推理与中文理解上表现最为出色。
1. Qwen 3.6 开源模型
根据你的设备配置,选择对应命令在终端中运行:
Windows / Linux 通用命令:
Bash
ollama run qwen3.6
ollama run qwen3.6:27b
macOS 适配版(MLX 优化):
Bash
ollama run qwen3.6:27b-mlx
ollama run qwen3.6:35b-mlx
资源链接: Qwen 3.6 更多尺寸获取 | Qwen 3.6 越狱版下载
2. Gemma 4 开源模型
Windows / Linux 通用命令:
Bash
ollama run gemma4
ollama run gemma4:26b
ollama run gemma4:31b
macOS 适配版(MLX 优化):
Bash
ollama run gemma4:e2b-mlx
ollama run gemma4:e4b-mlx
ollama run gemma4:26b-mlx
资源链接: Gemma 4 更多尺寸获取 | Gemma 4 越狱版下载
四、 快速对接与恢复
模型下载完成后,使用 Ollama 启动对接即可:
直接对接 Codex 命令:
Bash
ollama launch codex-app
恢复使用之前的模型设置:
Bash
ollama launch codex-app --restore
五、 【进阶玩法】通过 llama.cpp 加载越狱版模型
如果你追求极致性能或需要运行自定义的 GGUF 越狱模型,可以通过 llama.cpp 进行后端接入。
步骤 1:修改 Codex 配置文件
在配置文件中写入以下参数:
Ini, TOML
model = "Qwen3.6-27B-UD-Q5_K_XL.gguf"
model_reasoning_effort = "low"
profile = "llamacpp-codex"
model_provider = "llamacpp"
[profiles.llamacpp-codex]
model = "Qwen3.6-27B-UD-Q5_K_XL.gguf"
model_provider = "llamacpp"
model_reasoning_effort = "low"
[profiles.llamacpp-codex.windows]
sandbox = "elevated"
[model_providers.llamacpp]
name = "llama.cpp"
base_url = "http://127.0.0.1:8080/v1/"
wire_api = "responses"
[windows]
sandbox = "elevated"
步骤 2:启动 llama.cpp 服务
在终端执行服务启动命令(注意将模型路径替换为你的实际文件路径):
Bash
llama-server.exe ^
-m "models\Qwen3.6-27B-UD-Q5_K_XL.gguf" ^
-ngl 999 ^
-c 16384 ^
-n 2048 ^
-fa on ^
--jinja ^
--host 127.0.0.1 ^
--port 8080
六、 总结与展望
从自动修复报错崩溃的游戏项目,到几分钟内独立生成打地鼠小游戏,再到自动构建媲美商业级效果的苹果风格网页——AI 的核心演进方向已明确从“对话框”转向了“Agent 任务执行”。
目前 Ollama 已成为本地 AI 生态的核心基石,全面支持了 Codex App、Continue、OpenHands、RooCode、Aider、Open WebUI 等工具。本地运行大模型不仅是降低成本的手段,更是数据安全与离线作业的终极解决方案。
评论区