10月 本地部署开源模型

Unsloth 的 DeepSeek V4.1 Flash 量化版配合 llama.cpp，64GB 内存即可运行，Engram 表可放到 SSD 按需读取。

更激进的 1.75 到 2 bpw 量化加 SSD 内存映射，让 12GB 显卡搭配 46 到 64GB 内存跑 763B 的 MoE 模型。

128GB 统一内存的机器能装下 2350 亿参数模型，或 1.6bit 量化后约 60GB 的 2840 亿参数模型，容量比单卡显存宽裕。

15GB 显存可同时跑 Silero VAD、Whisper、llama.cpp 和 Qwen3-TTS 四个模型，全本地搭出实时语音聊天。

用 Tailscale 组网，把家里显卡上的 Qwen 接成远程 Agent 的默认模型，用电费替代 API 额度和排队冷却。

游戏卡的 FP16 累加算力被限半速，影响微调、生图和长 prompt 预填充，聊天几乎无感，30 系可用开源模块解锁。

Gemma 系列适合做端侧应用：Gemma 4 生成回答，EmbeddingGemma 2 做语义检索，已用于 Mac 离线笔记和文件搜索。