仅需6200美元，高性价比构建3块2080Ti的强大工作站

如果想要进行深度学习训练，在英伟达的新一代 GPU 中，RTX 2080Ti 是性价比最高的显卡（参见：首个 Titan RTX 深度学习评测结果出炉：2019 年你该选择哪款 GPU？）。但即使不上泰坦，9000 元一块的 GPU 也是很贵的。在本文中，来自 MIT 的 Curtis Northcutt 为我们找到了组建一台三 2080Ti 深度学习工作站的最简方式。

在他的配置下，整个系统需花费 6200 美元（约合 41700 元人民币），相比 AI 硬件供应商 Lambda Labs 提供的整机要便宜一半。如何为实验室组装一台最强大的计算机，让我们来看看他是怎么做到的。

我在 MIT 量子计算实验室和数字学习实验室构建了一台多 GPU 深度学习工作站。在网络中搜索时我发现，并没有一篇文章详细介绍了所有装机细节。

不过我还是发现了像 Lambda GPU 工作站这样的整机供应商。唯一的问题是：一台这样的机器需要花费 12,500 美元。这是进行顶级前沿深度学习研究的最佳配置，但如果买不起的话什么都无从谈起了。在这篇文章中，我将介绍一个自己版本的装机配置——使用相同或更好的配置，而且节省一半以上资金：只需 6200 美元。为了能让所有研究者获得帮助，在这篇文章中我会分享所有配置细节。

如果你正在构建一台较小的深度学习机器，你会发现本文同样有用。在正文中，我加入了可进一步降低成本的一些示例。

在文章最后，我给出了自组建机器与谷歌计算引擎（GCE）深度学习 VM 的时间/成本对比。我使用 PyTorch ImageNet/ResNet50 训练作为基准。

完美配置？

完美配置是不存在的，因为每个人的需求都不尽相同。即使过去曾经出现过，最佳配置也会随着新硬件的不断推出而改变。所以，本文试图给出尽可能好的配置。

深度学习工作站的所有组件

以下就是清单的全部了。

我订购的所有组件都是在 Newegg 上在线购买的，不过对于我们来说，亚马逊等其他途径都是可以的。如果你想去电子城找更便宜的，也可以尝试。

在 2019 年 1 月 31 日，每个组件及其价格如下：

• 3 块 EVGA 英伟达 RTX 2080 Ti GPU

• EVGA GeForce 2080 Ti，3570 美元（每块 1190 美元）

• 20 线程 CPU（中央处理器）

• 英特尔 Core i9 9820X Skylake X 10 核 3.3Ghz，850 美元

• X299 主板（所有其他组件都要连接主板）

• ASUS WS X299 SAGE LGA 2066 英特尔 X299，492 美元

• 机箱

• 海盗船 Carbide 系列 Air 540，130 美元

• 2TB M.2 SSD 固态硬盘

• 英特尔 660p 系列 M.2 2280 2TB PCI-Express，280 美元

• 3TB 机械硬盘（用于速度不敏感文件的存储）

• 希捷 BarraCuda ST3000DM008 3TB 7200 转，85 美元

• 128G 内存

• 4 个海盗船 Vengeance LPX 32GB，740 美元（每个 185 美元）

• 1600W PSU 电源

• EVGA SuperNOVA 1600W P2，347 美元（1300W 的电源在 ImageNet/ResNet50 基准测试时会出现断电重启）

• 散热器

• 海盗船 Hydro 系列 H100i PRO 低噪音版，110 美元

在 Newegg 上使用会员账户购买的话，不算消费税所有组件的总价为 6200 美元（升级后的电源另有 107 美元）。

每一个组件的考虑事项

在选择 GPU、RAM、CPU 和主板等组件时，需要牢记以下三个目标：

1. 速度和容量最大化

2. 避免组件间出现瓶颈

3. 花费少

我列举了构建工作站所需的所有组件以及每一组件的考虑事项。各组件以其对深度学习模型训练的性能影响为序排列。

GPU

• 经基准测试，RTX 2080 Ti 是 2500 美元价位下最好的 GPU。

• 请购买 after-market GPU（如 EVGA 或 MSI），而不是英伟达 Founders Edition。

• 注意 RTX 2080 Ti 的过热问题。

• 该工作站并未使用涡轮风扇式（blower-style）GPU（更便宜），但涡轮风扇式 GPU 的性能可能更好。

GPU 是深度学习机器中最为重要的组件，同时也是最昂贵的。你通常应该首先考虑使用哪种 GPU：装配中的其他所有组件选择将基于此。很多博客都有介绍如何选择满足你需要的 GPU。

如果你想要一款高性能 GPU，我建议不要受市场营销的干扰，直接购买 RTX 2080 Ti。如果你想自己做研究，并想要选择一款性价比高的 GPU，则可以通过 videocardbenchmark.net 检索，并在你的价格区间内选择性能最佳的 GPU。除非你的预算在 2,500 美元以上，RTX 2080 Ti 是最佳选择。如果性能降低 30%，你可以选择购买更便宜的 RTX 2080 或者旧版 GTX 1080 Ti。为实现最佳的深度学习，我建议你购买至少 11GB 内存的 GPU，而这正是 RTX 2080 Ti 的内存容量。

在购买 RTX 2080 Ti 时，你会注意到市场上有大量相关品牌：EVGA、技嘉、华硕、微星等。这些都是所谓的 after-market GPU（非公版）。你也可以选择直接购买英伟达的 Founders Edition。一般而言，如果你想追求最佳性能，不要购买 founders edition。为优化性能，EVGA 等公司会对 GPU 进行定制设计，有时会进行 GPU 超频处理。Founders edition 是首次尝试而非最佳尝试。非公版 GPU 通常设计有一至三个风扇，大概风扇越多，性能越好。其中一些只是营销噱头罢了，两个风扇通常就够了。这里的主要建议是：购买 EVGA、技嘉、华硕或微星的非公版 GPU。

请注意，after-market GPU 品牌众多，价格不一。超频 GPU 往往更贵，但通常会作出一些折中，因而实际上并不能提升性能。你通常只需购买最便宜的即可。

一些顾客已经抱怨过 RTX 2080 TI 的过热问题。我在构建工作站时仅使用三个 GPU 就是为了增加冷却气流。如果没有出现问题，我会另加第四个 RTX 2080 TI GPU。

我在构建工作站中使用了开放式风扇 GPU（风扇在每个 GPU 的底部），因为它们成本更低。涡轮风扇式 GPU 将气流从机箱一侧排出，使性能更佳。就我们使用的主板而言，GPU 被压缩得很紧，阻止开放式 GPU 风扇排出气流。如果你购买了涡轮风扇式 GPU，风扇可直接将气流从机箱一侧排出。

固态硬盘 SSD

• SSD <> GPU 数据迁移是深度学习训练和预测的主要瓶颈。

• m.2 SSD 比标准 SSD 快了 6 倍。

• 如果预算足够，请购买 m.2 SSD。你需要与 m.2 兼容的主板。

从硬盘到 GPU 的数据迁移是深度学习的主要瓶颈，会极大降低训练和测试时速。m.2 SSD 可以解决这个问题。最贵的 SSD 写入速度为 3500 mb/s，而标准 SSD 写入速度为 500 mb/s。

我购买了一个较便宜的 m.2 SSD 来构建工作站，其写入速度约为 1800 mb/s，但容量较大，为 2 TB。你可能会觉得购买更小的 256MB m.2 SSD 更有用，因为它写入速度更快且成本更低。这的确是以更少的成本获得更好性能的好办法。唯一需要注意的是，你要确保所有训练数据都可以放在 m.2 SSD 上。

主板

• 为了支持多 GPU，你需要足够的 PCI-E 通道。

• 这意味着你需要 x299（英特尔 CPU）或 x399（AMD CPU）主板。

• 你可以选择便宜一点的，但如果预算足够，可以考虑工作站（workstation）主板。

主板很难购买，因为选择太多，很多人不清楚为什么有的主板会比其它主板贵很多。对于深度学习来说，主板最重要的方面是 PCI-E 通道的数量。在我构建的工作站中，主板有 44 个 PCI-E 通道。这意味着如果有 3 个 GPU（每个需要 16 个通道），我可以在 32 个通道上运行两个 GPU（每个 GPU16 个通道），在 8 个通道上运行 1 个 GPU（总共需要 40 个通道）。大多数基准测试表明，在 8 个通道和 16 个通道上运行 GPU 的性能差异可以忽略不计，但未来差别可能会大一些。至少，确保你的主板有足够的 PCI-E 通道，能够满足每个 GPU 所需的最少数量。所以对 3 块 RTX 2080 TI GPU 来说，最少需要 24 个 PCI-E 通道。

另一个考量是选择 x299（英特尔 CPU）还是 x399（AMD CPU）主板。对每个处理线程来说，英特尔 CPU 更快，但对于相同数量的处理线程来说，AMD CPU 通常比英特尔 CPU 更便宜。我选择用英特尔处理器（20 个线程和较快的处理速度），因此需要 x299 主板。

更可靠（也更昂贵）的主板通常被称为工作站主板。可靠性的提高是否值得如此高价仍有待商榷。我在自己的构建过程中选择了工作站主板，但如果你想选择更便宜的，可以考虑 SUPERMICRO x299 主板。它满足了我的所有需求，但便宜了 100 美元。

CPU

• 选择英特尔 X 系列（x299 主板）或 AMD ThreadRipper（x399）。

• 对每个线程来说，英特尔 CPU 更快，但 AMD CPU 在相同的花费下支持更多线程。

通过考虑以下问题，基于你的计算需求选择 CPU：

1. 你是否需要运行大量多线程工作？

2. 你需要每个线程运行很快吗？

如果（1）回答「是」，而（2）回答（不需要），那么你可以用更少的成本选择支持 32 个线程的 AMD Ryzen Threadripper 2950X。如果第二个问题的答案是「需要」，那你可能想要选择英特尔 CPU。

对于英特尔 CPU，你需要选择核心的英特尔 X 系列 CPU 用于多 GPU 深度学习。只有 X 系列的 CPU 支持 x299 主板，而只有 x299 主板才具有足够的 PCI-E 通道来支持多 GPU。如果你仅使用 2 个 GPU，那么你可以减少主板+CPU 的成本，选择较便宜的 300 系列英特尔 CPU 和 LGA 1151 主板（而非 x299）。这样你就可以在 16 个 PCI-E 通道上运行一个 GPU，然后在另外 8 个通道上运行另一个 GPU（大部分 LGA 1151 主板有 24 个 PCI-E 通道，但购买的时候请仔细确认）

机箱

• 选择适合自己主板的机箱（ATX 是标准尺寸，mini-ATX 较小）。

• 选择具备气流流通空间的机箱，以保持 GPU 低温。

• Carbide Series™ Air 540 High Airflow ATX Cube Case 比较适合深度学习工作站。

对于多 GPU 工作站，气流和散热是重中之重。选择适合主板的机箱。大部分使用多 GPU 的主板是 ATX，因此你可以选择一个适合 ATX 主板的机箱。如果你不确定要买哪种机箱，Carbide Series™ Air 540 High Airflow ATX Cube Case 是不错的选择。

硬盘驱动器

如果 m.2 SSD 无法满足存储需求，购买 7200 RPM 的机械硬盘。

如果 m.2 SSD 太小，无法满足你的存储需求，你可以购买一个机械硬盘驱动器。它比较便宜，有两种速度：5400 RPM（较慢）和 7200 RPM（较快）。RPM 表示每分钟转速，这些磁盘会在计算机内进行物理旋转，所以会有噪音。不过机械硬盘驱动器比较便宜，你可以买一个 7200 RPM 的。

内存

• 购买低间隙内存（RAM），确保它适合你的机箱。

• 避免购买没听说过的牌子。

关于 RAM，你需要考虑它的容量、物理体积和延迟。我构建的工作站使用的是 128GB RAM，不过你可以根据数据集大小将容量减到 64GB 或 32GB。如果资金充足，我建议购买 128GB RAM，这样在训练深度学习模型时，你可以将整个数据集加载到内存中，避免每个 epoch 中出现 hard-drive <> RAM 瓶颈。

对于多 GPU 工作站，确保购买低间隙 RAM（较小机箱），间隙即 RAM 的高度。主板上要安装大量东西，有时候大机箱 RAM 会阻塞其他组件。海盗船 Vengeance 是一款不错的低间隙 RAM。

如果你不使用全部 RAM 插槽的话，记得查看主板文档。将 RAM 放进合适的插槽中很重要！主板和主板文档通常会写明放置 RAM 的位置。

PSU（电源供应器）

• 确保你的 PSU 可以提供充足的电量。参考 PSU 计算器：https://outervision.com/power-supply-calculator

• 每个 RTX 2080 Ti 需要大约 300W 能耗。

• 选择全模组，因为电缆越少就意味着气流越多。

• 我的 1300W PSU 导致最大负载时工作站会重启，1600W 比较适合该工作站。

你可能会看到 gold PSU vs. platinum PSU。这指的是 PSU 所用的金属，platinum > gold > silver > bronze > basic，它和 PSU 的效能有关。例如，同样的计算量，bronze PSU 要比 platinum PSU 消耗更多电。如果你需要考虑省电的问题（同时也环保），可以考虑购买 platinum 或 gold PSU。

至于本文介绍的工作站，我原本买的是 Seasonic PRIME 1300W PSU，但是当我进行分布式 PyTorch ImageNet/ResNet50 训练且最大化利用所有 GPU 时，工作站濒临重启状态。于是我换成了 EVGA SuperNOVA 1600 P2，这些问题解决了。注意，我使用 sudo nvidia-smi -pl 180 将 GPU 电量从 250W 降到 180W 时，1300W PSU 是可以使用的。不过我仍然推荐 1600W PSU，不然会限制 GPU 速度。

散热系统

• 通常，不错的气流和适当的电缆管理对于 GPU 散热来说足够了。

• 高性能（i9 X-Series）CPU 散热用海盗船 h100i 就可以了。

• 即使如此，如果可以请将机器放在阴凉、装有空调的房间里。

从散热风扇到全系统水冷却，你有很多选择。通常，如果机箱很大且电缆管理合适，那么你不用要太多华丽的东西。我构建的工作站中，CPU 没有配备散热器，我使用的是深度学习工作站中的标准配置海盗船 h100i。更低价的选择是 Noctua NH-U9S CPU Cooler Fan。我没买它的原因是它太大了，可能会阻塞部分 RAM 插槽。如果你只需要 32 GB RAM，你可以选择这款散热风扇。

基准测试 VS 谷歌计算引擎

我对这台机器和谷歌计算引擎（GCE）深度学习虚拟机进行了基准测试对比。这些虚拟机据称是专门为优化深度学习而预构建的。GCE 深度学习虚拟机使用 CUDA 版本和基于源代码构建的驱动程序，这些程序转为其硬件架构而优化。GCE 虚拟机没有英伟达 RTX 2080 Ti GPU，所以我用 Tesla K40 来代替。根据不同的基准任务，英伟达 RTX 2080 Ti 的性能是 GPU Tesla K40 的 2 倍至 4 倍。所以为了公平起见，我将这台设备上的一个 RTX 2080 Ti 与 GCE 虚拟机上的 4 个 Tesla K40 进行了对比。

为了做基准测试，我使用了 PyTorch 的 ImageNet 分布式案例。我下载了 ImageNet 2012 训练和验证集，并在我的个人机器和 GCE 深度学习虚拟机上运行了以下代码：

python examples/imagenet/main.py -a resnet18 --lr 0.1 --dist-url 'tcp://127.0.0.1:FREEPORT' --dist-backend 'nccl' --multiprocessing-distributed --world-size 1 --rank 0 "/location/where/I/stored/imagenet/"

GCE 深度学习虚拟机规格

我创建的虚拟机规格如下：

• 架构：64 位，x86_64

• K40 GPU 数量：8

• 内存：394 GB

• RAM：172 GB

• CPU 线程数量：24

ImageNet 训练时间基准

训练 1 个 epoch 所需时间对比：

• 我构建的工作站上 1 个 RTX 2080 TI 训练 1 个 epoch 耗时：37.5 分钟

• GCE 虚拟机上 4 个 Tesla K40 GPU 训练 1 个 epoch 耗时：86.3 分钟

这些值是经过 50 个 epoch 训练后平均得到的。运行的代码和上面相同，没有在任何一台机器上展开其它进程。

训练每个 epoch GCE 所需的花费

我使用的 GCE 架构并不是最具成本效应的设置，训练花费为：

4 个 Tesla K40 GPU 训练 1 个 epoch 所需花费为 12.77 美元

所以用 Tesla K40 GPU 对 ImageNet 进行 100 个 epoch 训练将花费约 1277 美元。而对于整个虚拟机来说，将花费约 21 美元/小时。

与 Lambda 的 4-GPU 工作站进行对比

我所构建的工作站旨在优化成本／性能权衡。如果你想构建与 Lambda 4-GPU 更加匹配的工作站，那么可以看一下 Lambda CEO Stephen Balaban 在 reddit 上分享的几条建议：

• 添加一块额外的涡轮风扇式 GPU（1349 美元）

• 加 159 美元，将另外 3 块 GPU 都升级成涡轮风扇式 GPU（共 477 美元）

• 加一个热插拔式驱动器托架（50 美元）

• 加 1600W PSU（107 美元）

• 将 CPU 从 10 核升级到 12 核（189 美元）

• 上述原本工作站需花费 6200 美元

进行以上调整后，整个工作站的总花费大约是 8372 美元，比 Lambda 工作站少大概 4000 美元。

其他

我使用的操作系统是 Ubuntu Server 18.04 LTS，我使用 TensorFlow Cuda 10.1（从源代码安装）和 PyTorch。当我长时间以最大容量使用这三块 GPU 时，我发现最上面的 GPU 出现过热降频，造成性能出现 5%-20% 的下降。这可能是双风扇 GPU 设计的缘故。如果你担心这个问题的话，推荐使用涡轮风扇式 GPU，以避免过热降频。