由 dawei 深度学习服务器不是GPU越多越好。盲目堆叠显卡反而易触发散热瓶颈与PCIe带宽争抢，导致训练吞吐不升反降。建议单机优先选用2–4块同型号高端卡（如A100或H100），确保主板支持NVLink全互连，并验证电源冗余（建议标称功率×1.3以上）与机箱风道设计。
CPU与内存常被低估。训练框架前端数据加载、增强与分布式通信高度依赖CPU多核性能与内存带宽。避免“i5+32GB”式消费级配置；推荐双路至强或锐龙线程撕裂器平台，搭配≥128GB DDR5 ECC内存，通道数必须满载（如8通道），否则显存喂不饱GPU。
存储IO是隐形杀手。小文件读取场景下，机械盘或普通SATA SSD会导致DataLoader卡顿90%以上时间。务必采用NVMe阵列（至少2盘RAID 0），配合Linux中启用透明大页（THP）与I/O调度器优化（mq-deadline），并用torch.utils.data.DataLoader设置pin_memory=True + num_workers≥CPU物理核心数。
网络不是仅看带宽。多机训练时，10GbE实测延迟高、丢包率波动大，会拖慢梯度同步。优先部署25/100GbE RoCEv2网络，禁用TCP/IP协议栈，启用DCQCN拥塞控制，并在每台服务器BIOS中开启SR-IOV与ADQ硬件加速功能。
软件栈比硬件更易出错。CUDA版本需严格匹配PyTorch/NVIDIA驱动（参考官方兼容矩阵），禁用系统自动更新；NCCL后端必须设为NCCL_SOCKET_IFNAME=ib0（IB网卡）或NCCL_IB_DISABLE=1（RoCE环境）；混合精度训练务必启用torch.cuda.amp.GradScaler，而非手动cast张量。
AI生成图像，仅供参考
监控不能只盯GPU利用率。使用nvidia-smi -l 1采集原始指标，结合dcgm-exporter推送到Prometheus，重点观察GPU的SM利用率（95%即瓶颈）、PCIe接收/发送速率（若长期>12GB/s需查链路）。真实瓶颈往往藏在CPU iowait、内存swap或NCCL timeout日志中。