饭碗端稳,四处溜达 个 人 博 客  ·  G A O L E X . N E T
共 四十七 篇
二〇二六年九月
不定期更新
AI

差点被64G内存耽误了的幸福

差点花近三万买 64G MacBook Pro,却发现头号任务连 DeepSeek V4 Flash 的量化权重都装不下。

差点被64G内存耽误了的幸福

一通折腾,我最终还是清空了购物车。

但点的是删除。

购物车里躺着一台 16 英寸 MacBook Pro,M5 Pro、64G 统一内存、1T 硬盘,价格接近三万元。

我连它上桌以后干什么都想好了。四个 Agent 一起跑,本地 TTS、OCR、ASR 随便招呼,最后再把 DeepSeek V4 Flash 请回家。以后云端抽风或者代理掉线,我也能关起门来让 Agent 继续干活。

贵是贵了点。可这是生产工具啊。

成年人给购物欲找台阶,生产工具四个字一向很好用。往购物车上一盖,近三万元立刻就不叫消费了,叫对未来负责。我差点被自己感动了。

64G 这么大,居然还不够

坏就坏在我又多查了一眼。买东西的时候,资料看得太明白,有时真妨碍幸福。

DeepSeek 官方公布的 V4 Flash有 284B 总参数,每次激活 13B,支持一百万 token 上下文。13B 激活听着挺亲民,我差点就把它和 13B 模型需要的内存画了等号。

13B 只是每次激活的参数量,模型文件并没有跟着瘦到 13B。MLX 社区的版本有 155G。继续往下找,动态 2bit 量化版也有 96.5G。

我看中的 M5 Pro 最高支持 64G 统一内存。这 64G 还得分给系统、正在使用的应用和推理缓存。一场高级的设备端 AI 梦,最后被一道小学算术题拦住了,96.5 大于 64。

我准备花近三万元买 64G,头号任务却连模型权重都装不下。机器当然会快,屏幕和接口也会更好,可我给它安排的第一份工作,它接不了。再给购物欲五分钟,配置单大概就要从 M5 Pro 膨胀成 M5 Max 了。

这就尴尬了。

M2 Air 真的该退休了么

买新机器的头号理由没了,我又回头查这台 Air。

它是 M2 刚发布时买的,转眼已经用了四年。四年足够让我惦记新机器,却还不足以让它退休。与其对着参数猜,我索性把每天真干的活逐项跑了一遍。

我现在的四个 Agent,主要推理都在云端。本机忙的是界面、文件处理和几个专用模型。4B 本地模型实测约占 2.5G 内存,速度大约每秒 31 个 token,跑得挺轻松。我这边忙着替它物色 64G 豪宅,它那边住在 16G 里连搬家申请都没打。

某个 8B 模型确实让 16G 很吃力,我测试完就删了。目前没打算用它,也就没必要替一位已经搬走的住户先买房。

TTS 生成 14.64 秒中文音频,用了 23.06 秒,峰值内存约 1.07G。速度谈不上漂亮,活能干完。512G 的硬盘还剩 289G,离塞满也早。

OCR 那次用了五分多钟,成绩有点难看。五分钟够我喝口水,也够购物欲趁机复活。可输入是一张手机拍的非文档照片,流程里还有切片和后处理,单凭这个数字判 Air 退役,证据不够。它至少提醒我先把 OCR 流程收拾好,换机器可以往后排。

内存也确实不宽裕,系统用过约 3G 交换空间。可最近几次真正打断工作的故障,来自 Tailscale 高延迟、Telegram 代理 503 和云端模型首字慢。本地机器跑得再猛,网线那头不说话,我照样只能等。

一份差点把我送回购物车的测试

中间还有个小插曲。

第一轮矩阵计算跑出了 66.3 秒、153.0 秒和 155.7 秒。后两次突然慢了一倍多,报告很快给 M2 Air 戴上了热降频的帽子。无风扇,持续满载,听着合情合理。

后来一对才发现,那轮测试有三个 Agent 同时抢 CPU,代码实现也和复测不同,连校验和都对不上。我要是拿这份成绩单去付款,三万元里大概有一半得算误诊费。

重启以后,用相同代码再跑。M2 Mac mini 连续三次都在 36 秒左右,Air 跑了九次,最快 35.948 秒,最慢 36.365 秒,波动不到 1.5%。

这次复测只能说明一个很小的事实。在相同代码、单任务独享 CPU 的条件下,Air 没有出现那条断崖式劣化。它会不会在其他长时间满载任务里降频,还得另测。前面那组数字已经不能证明这件事,最多证明三个 Agent 一起抢 CPU 时,谁都别想体面。

幸好,买电脑不用靠那组数字判决。

删除也是一种清空

折腾到这里,我对这台 M5 Pro 已经没什么意见。它很强,我也确实喜欢。可喜欢归喜欢,近三万元花下去,买到的主要是一轮舒适升级。那个最能说服我的理由,本地运行 DeepSeek V4 Flash,64G 完成不了。

再看手里的 M2 Air,4B 模型跑得动,TTS 能干活,硬盘也有地方。OCR 需要优化,云端和网络偶尔添堵,这两件事换一台 MacBook Pro 都不能包治。

于是我清空了购物车,点的是删除。

顺手的工具别嫌弃,M6 不是正在远方挥舞着红手绢等我么?钱💰揣口袋里的快乐期许不香么!