Mac四集群开启RDMA后推理DeepSeek V3.1 AI 模型速度提高 122.6%

谷途2025-12-23阅读 324
在测试 DeepSeek V3.1(671B 参数)时,Exo 的推理速度从单节点的 21.1 tokens/s 稳步提升至四节点的 32.5 tokens/s,增幅 54.03%。 在相同四节点情况下,Llama.cpp 的推理速度为 14.6 ...