前两天我电脑C盘又红了，清理的时候翻到之前下载的一个本地大模型，7B参数的那种，占了我大概4个G。当时下载它是因为听说云端模型要收费了，吓得我赶紧给自己找了个“备胎”。结果用了一次就再也没打开过，因为每次问它点啥，它都要反应半天，那感觉就像跟一个正在倒时差的人说话。
后来我就在想，到底啥时候该用本地模型，啥时候该用云端模型？这个问题我琢磨了好一阵子，今天干脆把我踩过的坑和想明白的事都倒出来。
先说本地模型。说白了就是把AI装到你自己的电脑里，不联网也能用。我下载的是Ollama加上Qwen2.5-7B，一个很流行的组合。安装过程倒是不难，去Ollama官网下个安装包，双击下一步，然后在终端里敲一行ollama run qwen2.5就可以了。但真正用起来，我差点把电脑砸了。
我试着让它帮我写个简单的Python脚本，就是读取一个Excel文件然后做数据清洗。结果它想了大概两分钟，然后给我吐出来一段代码，里面居然还用了pandas的read_excel，但导入的库写成了import pandas as pd，后面又莫名其妙写了个from openpyxl import load_workbook，两个库混着用，逻辑完全跑不通。我当时血压就上来了，心想这还不如我手写。
但本地模型也有它的高光时刻。有一次我出差，在高铁上信号断断续续的，想查一个Linux命令的具体用法，打开云端模型根本连不上。这时候我打开了笔记本里的本地模型，虽然反应慢，但至少它给了我一个基本正确的答案。那一刻我突然觉得，这4个G没白占。
再说云端模型。我现在主要用GPT-4o和Claude 3.5 Sonnet，每个月大概花20美金。说实话，刚开始我也觉得贵，但用习惯了就回不去了。最直观的感受就是它真的能理解我在说什么。比如我最近在写一个商业计划书，有些地方逻辑不顺，我跟它说“这里感觉怪怪的，但我说不上来哪里怪”，它居然能帮我理清楚思路，甚至给出几个修改方向。这种体验，本地模型目前还做不到。
但云端模型也有让我抓狂的时候。上个月我写一个涉及公司内部数据的分析报告，本来想用云端模型帮忙润色一下，结果刚把一段脱敏后的数据贴上去，它就弹出了内容审查的提示，说我的内容可能包含敏感信息。我当时就火了，我明明已经把所有真实数据都换成了假数据，它还是判我违规。后来我干脆关掉网页，自己手写。
还有一次更离谱，我正在用云端模型写一篇技术教程，写到一半网络突然断了，我刷新页面后发现对话历史没保存，之前写的东西全没了。那一刻我真的很想顺着网线去打服务器管理员。
所以我现在慢慢总结出了一些规律。什么时候该用本地模型？当你处理的是隐私数据，比如个人的医疗记录、公司的财务报表、或者一些你不希望被任何人看到的内容，那本地模型是唯一的选择。另外就是当你没有网络的时候，比如坐飞机、去偏远地区出差，本地模型能救急。还有就是当你做的事情比较简单，比如翻译一句话、查一个公式、写一个简单的邮件模板，本地模型完全够用，而且免费。
什么时候该用云端模型？当你需要深度思考的时候。比如你要写一篇逻辑严密的文章、要分析复杂的数据关系、要调试一段报错信息特别诡异的代码，云端模型的智商明显更高。还有就是当你需要创意的时候，比如 brainstorm 一个活动方案、给产品想个 slogan、设计一个游戏剧情，云端模型能给你很多意想不到的点子。另外就是当你需要速度的时候，云端模型几乎是秒回，而本地模型可能让你等到怀疑人生。
至于成本，我算过一笔账。本地模型除了电费，基本没什么开销。我用的那个7B模型，跑一次大概消耗我笔记本电池的3%到5%，换算成电费大概一毛钱。云端模型一个月20美金，合人民币差不多140块。但你要想，这140块换来的是顶级AI的智力，换算成请一个实习生帮你干活，这价格简直白菜价。
不过有个事情我必须吐槽一下，本地模型虽然免费，但配置起来真的很折腾。我第一次装的时候，因为显卡驱动版本不对，报了一堆CUDA error，我花了一个下午才搞定。而且本地模型对电脑配置要求很高，我16G内存的笔记本跑7B模型已经很吃力了，你要是想跑70B的那种大模型，至少得32G以上的内存，还得有一块好的显卡。所以如果你电脑配置一般，就别折腾本地模型了，直接上云端省心。
最后说一句，其实这两个东西不是非此即彼的关系。我现在是两边都用，处理隐私数据或者没网的时候用本地模型，日常写作、编程、分析问题用云端模型。就像你家里既有电饭煲也有高压锅，做米饭用电饭煲，炖肉用高压锅，各有各的用处。
反正我是不会再纠结了，该花的钱花，该省的电省。毕竟AI是用来帮我提高效率的，不是用来让我折腾配置的。