24GB 内存是跑本地大模型的“甜点级”配置。 它能让你以可接受的速度运行 14B 级别的模型，但需要避开 32B 及以上模型，否则会因内存不足导致系统卡顿。
能跑什么模型（速度实测）
在 M4 基础款 + 24GB 内存下，建议锁定 4-bit 量化模型：
· 7B / 8B（如 Qwen2.5-Coder, Llama 3.1）：20~30 tok/s。体验流畅丝滑，非常适合代码补全、翻译、总结等高频任务。
· 14B（如 Qwen2.5-14B, DeepSeek-R1）：11~14 tok/s。这是最佳平衡点，速度虽不如小模型，但推理能力明显更强，适合日常对话。
· 22B（如 Mistral Small）：7~9 tok/s。速度偏慢，能明显感觉到等待，仅在 14B 不够用时尝试。
· 32B 及以上：不建议。24GB 内存跑 32B 很容易爆内存并调用硬盘当虚拟内存（Swap），导致速度断崖式下跌到个位数，甚至系统卡死。
关键提醒
· 选对工具：Ollama 最简单，LM Studio 有图形界面。若追求极致速度，MLX 框架（苹果原生）通常比 Ollama 快 10%~50%。
· 内存预留：虽然 24GB 看着多，但系统本身要占几个 G。跑 14B 模型时，建议把上下文长度（Context Length） 控制在 4K~8K，给 KV Cache 留空间，否则容易报错。
· 预期管理：它的智力水平大致相当于早期的 GPT-3.5，适合“高频、简单、隐私敏感”的任务（如本地文档总结、代码辅助）。硬核的复杂逻辑推理，还是云端模型更强。