3个月前我干了一件蠢事。刷到B站一个UP主说，本地跑大模型才是真AI玩家，云端都是韭菜。我信了。然后花了一个周末，翻出了吃灰的3080显卡，又在闲鱼淘了两条32G内存条，把电脑拆得七零八落，终于把Llama 3.1 70B的量化版本跑起来了。
结果你猜怎么着？第一次对话，我敲了句“写一段Python爬虫代码”，它卡了整整47秒，然后吐出来一行字：“抱歉，我没有联网，无法获取最新库的版本信息。”我当时血压就上来了。47秒你就给我看这个？
这3个月我经历了什么，给你们列个单子。
先说硬件成本。我这台电脑原本是打游戏的，为了跑模型加了内存，换了电源，又买了个二手涡轮风扇显卡，总共花了大概5000块。结果跑7B的小模型还行，一旦上70B的模型，哪怕量化到4bit，显存还是爆。有一次我跑Mixtral 8x7B，刚加载完模型，机箱直接嗡的一声，风扇转速飙到4000转，跟飞机起飞似的。我老婆从卧室探出头问，你是不是在挖矿。我说不是，我在搞AI。她说，搞AI比挖矿还吵。
再说速度。云端调用GPT-4o或者Claude，基本两三秒就出结果了。本地跑Qwen2.5 32B量化版，一个简单的问题“今天天气怎么样”，它要先加载模型，再跑推理，前后花了1分20秒。关键是它还没联网，只能回一句“我无法获取实时天气”。我花5000块买了个不会看天气的AI。
最坑的是模型兼容性。云端你随便换个模型，点一下按钮就行了。本地你换一个模型，得重新下载，重新配置，重新调整量化参数。有一次我下了个Mistral的最新版，结果跟transformers库版本冲突，报了一串看不懂的错误。我在GitHub issues里翻了两个钟头，终于找到一个老哥说“回退到4.37.2版本试试”。然后我又花了一个小时卸载重装。那天晚上我连游戏都不想玩，就坐在电脑前看终端滚动日志，感觉自己回到了2005年配Linux驱动的年代。
但本地跑也不是一无是处。它有几个场景确实比云端爽。
第一个是隐私。我试过把自己写的商业计划书丢给云端模型，虽然知道大公司不会偷看，但心里总有点膈应。本地跑的话，数据不出门，随便你丢什么。我甚至试过把公司内部的技术文档扔进去让它总结，完全不用担心泄密。
第二个是离线。上个月我们公司团建去山里，手机信号都没了，我打开笔记本，本地模型照样能写文案、翻译、改代码。同事们都惊呆了，问我用的是什么黑科技。我说就是一台加了内存的旧电脑。他们看我的眼神就像看一个背着发电机的露营佬。
第三个是调戏模型的自由度。云端模型都有内容安全过滤，你问一些擦边球的问题会被直接拒绝。本地模型你想怎么调就怎么调，系统提示词随便改。我试过把Llama的系统提示改成“你现在是一个毒舌程序员”，它骂我的代码骂得我笑出猪叫。云端你试试？直接给你封号。
但说到底，这3个月我算了一笔账。如果我用云端API，按我的使用量，一个月大概花30块钱。3个月就是90块。而我本地跑了3个月，电费多花了200块，显卡折旧算1000块，时间成本那就不说了。也就是说，我花了1200多块，做到了一件花90块就能做到的事，还做得更差。
我最后是怎么彻底放弃的？上周我接了个活，要给客户做一个AI客服系统。本地跑的开源模型，回答质量飘忽不定，有时候很聪明，有时候像个智障。客户问“你们这个AI是基于什么模型”，我说是Llama 3.1，客户说哦就是那个写诗会写歪的。我当时尴尬得想钻地缝。后来我偷偷换成了云端API，客户测试完说，哎，你们这个AI今天怎么聪明了。我说是的我们优化了一下。
现在我的本地模型已经一个月没开机了。3080显卡又回归了打游戏的岗位。那些下载的模型文件，占了200G硬盘，我舍不得删，就当收藏了。偶尔有朋友问我，本地跑大模型怎么样，我都会说，如果你钱多、闲多、喜欢折腾、不嫌吵，那欢迎入坑。否则，老老实实花那几十块钱用云端，省下来的时间写两行代码不好吗。
哦对了，昨天我把本地模型的电源线拔了，机箱终于安静了。我老婆说，你终于不像挖矿的了。我说，我本来就不是。她说，那你那5000块白花了？我说，不白花，至少我学会了怎么编译CUDA，以后去面试可以说自己会部署大模型。她说，那你工资涨了吗？我说，没有。
你看，这就是本地跑大模型的真实体验。不好也不坏，就是有点傻。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现