当高端显卡价格被推上天际,民间的硬件极客正在用让人意想不到的方式突围。这周在 r/LocalLLM 斩获 1,063 赞的“40 节点迷你主机机柜”,堪称今年最硬核的家庭实验室(Homelab)杰作。
作者手头刚好有 40 台之前项目剩下来的 Intel N150 无盘迷你主机(每台配 12GB DDR5-4800 内存,单机物理内存带宽约 33GB/s,40 台聚合内存达 480GB)。最初他尝试用常规的千兆以太网(1Gbps LAN)把这 40 台小机器连起来跑分布式推理,结果跨节点张量同步的通信延迟直接把生成速度卡死在了 7 tok/s。
为了打破网络瓶颈又不花冤枉钱买昂贵的万兆交换机,作者想出了一个绝妙的底层骚操作:直接利用 x86 芯片组自带的 USB 3.2 调试能力(USB DbC,Debug Capability),用普通高速 USB 线搭建了一条 10 Gbps 的点对点直连树状拓扑(1 -> 3 -> 9 -> 27 节点)!
整套 40 节点集群总造价仅约 5,000 美元,墙插满载峰值功耗仅 740W(不到一台多卡服务器的零头),却能以原生精度完整装下 GLM 5.3 Flash 并留出 8 路 100 万(1M)上下文窗口的充足余量!实测单路生成达 14 tok/s(在 1M 满上下文下依然稳在 12 tok/s),开启批处理后解码吞吐高达 40 tok/s、预填充达 85 tok/s。





