H100作为AI训练、推理和高性能计算场景中的高端GPU，通常需要长时间、高负载运行。一旦出现异常，不仅会影响GPU本身的使用，还可能导致训练任务中断、算力资源闲置。

那么，H100常见的故障有哪些？出现什么情况需要重点排查？

GPU突然无法识别

服务器原本可以正常识别H100，但运行一段时间后，某张GPU突然消失，或者重启之后无法正常识别。

这种情况可能与驱动、服务器连接、电源、系统环境以及GPU硬件有关。如果同一张GPU反复出现无法识别，就需要进一步检查。

运行过程中突然掉卡

训练任务正常运行，过了一段时间GPU突然掉卡，导致任务中断，是H100使用过程中比较让人头疼的问题之一。

偶发异常可能与运行环境有关，但如果同一张GPU频繁掉卡，就不能简单通过重启服务器解决，需要进一步确认故障原因。

多GPU通信异常

在多GPU服务器中，如果出现GPU之间通信异常、训练任务中断或者性能明显异常，需要关注NVLink、NVSwitch等相关组件。

这类问题不一定意味着某张GPU本身损坏，也可能涉及通信链路或服务器环境，需要结合实际情况排查。

ECC、Xid等错误反复出现

如果服务器日志中出现ECC、Xid等GPU相关错误，也需要引起关注。

这些信息可以帮助定位问题，但不能看到某一个错误就直接判断GPU已经损坏。需要结合故障现象、运行状态和日志进行综合判断。

GPU高负载运行后出现异常

有些H100并不是开机就出现问题，而是在长时间训练、推理或者高负载运行之后才出现异常。

例如温度异常、任务中断、性能下降、GPU状态异常等，都需要结合具体运行环境进行分析。

H100出现故障应该怎么办？

如果只是偶发一次异常，可以先检查驱动、系统环境和服务器状态。

但如果出现：

反复掉卡、GPU无法识别、通信持续异常、ECC错误反复出现、同一张GPU频繁报错

就不建议一直通过重启服务器解决。

H100属于高价值算力设备，准确判断故障原因，比直接更换设备更加重要。

捷智算提供H100、H200、H800等高端GPU维修服务，可针对GPU模组、主板、NVSwitch等相关硬件进行检测与维修，并结合标准化维修流程进行故障定位。维修完成后，还可根据设备使用需求提供维修后延保服务。