事情是这样的。上周公司服务器又崩了，API调用高峰期直接502，气得我差点把键盘吃了。一气之下决定：老子要本地跑大模型，自己动手丰衣足食。
然后我就开始了为期3天的“自虐之旅”。
先说硬件。我翻出吃灰的RTX 3090，24G显存，想着这配置跑个7B模型总该够了吧？结果下载了最新的Ollama 0.5.1，拉了个Qwen2.5-7B-Instruct，一跑起来显存直接飙到18G。我盯着任务管理器，那个显存曲线跟心电图似的，忽上忽下。风扇声从嗡嗡变成呼呼最后变成飞机起飞，我摸了一下机箱侧面，烫得能煎鸡蛋。
第一次对话，我问它“请用鲁迅风格写一段关于996的吐槽”。它沉默了大概40秒，然后吐出一段文字，开头是“我大抵是不愿加班的”，后面越写越跑偏，最后变成了一篇鸡汤文。我当场血压就上来了。
然后我试了云端。随便打开一个API平台，选了同样的模型，同样的提示词，3秒出结果。而且你猜怎么着？云端跑出来的那段文字，每一句都带着鲁迅那股子阴阳怪气的劲儿，最后一句是“但加班费若是给得足，倒也是可以谈谈的”。我靠，这差距。
本地跑的模型像是喝醉了酒的老头，说话前言不搭后语。云端的像个专业代笔，风格拿捏得死死的。
我不信邪。又试了代码生成。本地跑Qwen2.5-Coder-7B，让它写个Python脚本爬取天气数据。它给我生成了30行代码，里面有5个语法错误，2个逻辑死循环，还用了两个已经废弃的库。我修了半小时才跑通。同样的任务丢给云端，一次生成，直接执行，连注释都写得比我工整。
这时候我开始怀疑人生了。难道是我配置不对？
我查了各种教程，试了vLLM部署，试了量化版本，试了各种参数调优。把模型从7B降到3B，从3B降到1.5B。速度是快了，但回答质量跟小学生作文似的。我问它“什么是微积分”，它给我回“微积分是一种积分，很微小的那种”。我差点一口老血喷屏幕上。
再说说显存占用。我本地同时跑两个模型做对比测试，直接把系统干崩溃了。蓝屏那一刻，我盯着那个哭脸表情，心里只有一个念头：这破玩意儿到底是谁在吹？
但我也不能一棍子打死。本地跑模型有一个巨大的优点：隐私。我把公司的内部文档喂进去做RAG，不用担心数据被云端拿去训练。这个安全感，云端给不了。云端再怎么说“数据加密传输”“训练数据已脱敏”，你信吗？反正我不信。
还有一个场景让我觉得本地跑值得：离线。上周出差去高铁上，信号断断续续，我本地跑了个小模型做会议纪要整理，虽然慢，但至少能干活。云端在那种环境下就是个摆设。
但代价太大了。我算了一笔账：3090显卡功耗350W，跑3天电费大概25块钱。云端调用同样次数的API，按tokens算不到5块钱。而且本地跑的时候我电脑基本干不了别的，浏览器开个标签页都卡。云端我还能一边跑模型一边打游戏。
最让我崩溃的是版本管理。本地模型更新太快了，上周下的模型这周就有新版本，删了重下又是几十个G。云端那边API接口升级，我改一行代码就行。本地我要是忘了更新，用的还是两个月前的旧模型，生成效果差到想哭。
最后我给个结论吧，如果你只是个人玩玩、搞点小实验、或者对隐私极度敏感，本地跑可以试试，但别抱太大期望。如果你是正经干活、追求效率、不想被硬件折腾，老老实实用云端。省下来的时间，够你多睡两小时觉。
我准备把3090挂闲鱼了。谁要？9成新，没挖过矿，只被大模型摧残过3天。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现