用本地模型写小说，最大的疑问就是「质量到底行不行」——网上的评测都在跑数学题和代码，没人正经测过文学创作。所以我把 8 个本地模型 + 智谱 glm-4-flash 免费接口拉到一起，给同一段系统流小说原文续写，逐个看文笔。结果有点意外：免费接口被本地模型全面超越。
测试条件：llama.cpp 纯 CPU 6 线程、Q4 量化、同一段约 300 字的末世系统流原文，各模型续写约 500 字。2026-08-30 实测。
先看速度：MoE 快 2~4 倍
规律很清晰：MoE 架构（激活 2~4B）生成速度是稠密 12~14B 的 2~4 倍。LFM2-24B 只激活 2B 参数，15.5 tok/s 一骑绝尘；稠密的 Qwen3-14B 只有 3.6 tok/s，写 500 字要等两分多钟。
文笔评级（重点）
| 评级 | 模型 | 一句话点评 |
|---|---|---|
| ★★★★★ | gemma-4-12B-QAT / supergemma4-26b / StyleTune-V2 | 意象、比喻、哲思延续全部在线 |
| ★★★★☆ | LFM2-24B / gemma-4-12B / E4B-Aggressive | 细节丰富，略煽情或略直白 |
| ★★★☆☆ | Qwen3-14B / Qwen3-30B-A3B | 流畅但平淡，30B 版过于保守 |
| ★★☆☆☆ | glm-4-flash（免费接口） | 流水账，无比喻无张力 |
直接看片段对比
原文场景：主角程乞在系统流末世里，面对「探测模块升级 900 点 / 基地拓展包升级 2200 点」的资源抉择。
supergemma4-26b：「贪婪是通往神坛的阶梯，也是踏入深渊的陷阱。」……系统就像是一个精明的商人，它先用一点点甜头让你习惯于依赖它的功能，然后再通过指数级的成本增长，把你死死地锁在「升级-扩张-再升级」的循环中。
StyleTune-V2：这哪里是升级所需的成本，这简直是在勒索我的命……既然【娱乐教廷】能留下这些文明巅峰的残骸，那就说明，只要我爬得足够高，那些所谓的「神迹」，终有一天会变成我的私人收藏品。
gemma-4-12B-QAT：这种感觉就像是在玩一款极度硬核的策略游戏：你拥有了一块地皮，但想要在这块地皮上盖起一座不被邻居（那些怪物）拆迁的堡垒，代价是足以让普通人崩溃的资源堆砌。
glm-4-flash：「看来，我需要更加努力地获取能源点了。」程乞自言自语，眼中闪过一丝坚定。他深吸一口气，调整了呼吸，开始认真思考接下来的战略。……他走到狼熊BOSS的尸体前，仔细检查了一番，发现它的身上并没有什么特别有用的装备。
高下立判：本地三强都在用比喻和内心张力推进剧情，而 glm-4-flash 是标准的「AI 味流水账」——语法全对，读起来像任务简报。
逐模型优缺点细评
| 模型 | 优点 | 缺点 |
|---|---|---|
| gemma-4-12B-QAT | 文笔第一梯队；「变数丛林」「剥洋葱」式比喻自然；最贴原文哲思基调；QAT 量化质量损失最小 | 速度慢（4.4 t/s），长篇批量生成需耐心 |
| supergemma4-26b | 金句密度最高（「贪婪是通往神坛的阶梯」）；资源决策有策略感，符合系统流逻辑；无审查限制 | 无审查是双刃剑，公开内容需自查 |
| StyleTune-V2 | 风格化最强（「剧毒的蜜糖」「勒索我的命」）；速度 9.6 t/s 是文笔第一档里最快的 | 风格偶有用力过猛，段内比喻略密 |
| E4B-Aggressive | 剧情推进最实用：一段内完成「升级二连 + 发现 LV2 敌人」，爽点密集；5GB 体积对 8G 内存机友好 | 文笔比 12B 糙，细节描写偶有重复 |
| LFM2-24B-A2B | 速度王者（15.5 t/s）里质量最好的；细节丰富，心理描写完整 | 略煽情，「力量的追求」类表述偏模板化 |
| Qwen3-14B | 中文最自然（毕竟是中文主力模型），语法零瑕疵 | 平淡，缺乏记忆点；速度最慢（3.6 t/s） |
| Qwen3-30B-A3B | 逻辑清晰，善于「系统意图分析」这类理性桥段 | 太保守，篇幅也最短（215 token），不敢展开 |
| glm-4-flash（对照） | 免费、快、语法正确 | 流水账：无比喻、无心理张力、像任务简报；「AI 味」最重 |
一个值得说的细节：«我»还是「他」的人称选择能看出模型的语感——E4B-Aggressive、12B-QAT、StyleTune 全程稳住第一人称沉浸感；Qwen3-14B 开头第一人称写着写着滑回「程乞低声自语」的第三人称视角，是语感不稳的信号。
剧情推进与实用性
- 最实用：E4B-Aggressive——直接完成「升级二连 + 发现 LV2 敌人」，爽点密集，适合网文快节奏
- 最有策略感：supergemma4-26b——做出「先升探测、基地留作底牌」的资源取舍，符合系统流逻辑
- 最贴原文：gemma-4-12B-QAT / StyleTune-V2——延续了原文「艺术来源于生活」的哲思基调
选型结论
- 要速度：LFM2-24B（15.5 t/s）或 Qwen3-30B-A3B（11.4 t/s），MoE 拿质量/成本比换时间
- 要文笔：gemma-4-12B-QAT（4.4 t/s，需要耐心）——文笔第一梯队里最稳的选择
- 要风格化/无审查：StyleTune-V2 / supergemma4-26b（约 9.5 t/s，速度质量兼得）
- 结论一句话：本机纯 CPU 环境下，本地模型的小说续写质量全面优于免费云端接口；写长篇用 MoE 保速度，精修段落用 12B 稠密保文笔
速度与显存的原则解释看这篇显存、带宽与算力；写作时统计字数和 token 可以用 Token 计数器。
免责声明：文学质量评价带有主观性，测试为单样本对照（每模型续写一次）；小模型输出有随机性，同一模型多次结果会有波动。