热插拔是大家每天都有可能做的事情。比如，将一块U盘从PC中拔出，将一个鼠标从一台电脑换到另一台电脑。这些都是再平常不过的事情了。对于数据中心的运维人员来说，更换硬盘也是一件很频繁的事情。

NVMe SSD已经从实验阶段进入到大量业务部署时期，热插拔这个feature变得非常关键。最开始NVMe SSD只是以PCIe接口的形式出现，跟网卡一样放在背板的卡槽上固定，这种形态的NVMe还不适合热插拔。随着U.2接口（如下图）的推出，NVMe SSD可以直接如SATA/SAS硬盘一样放置在前面板，此时的NVMe SSD对热插拔的支持变得理所当然而且必须。

服务器厂商和SSD厂商也都非常支持U.2接口。如Dell的PowerEdge R730xd带有4个U.2盘位，超威甚至发布了24盘位的服务器。SSD方面，Memblaze等PCIe SSD厂商都已经开始推出对应的产品。

Memblaze的PBlaze4系列PCIe SSD，发布于2015年年中

当客户采用U.2的SSD前，会对其热插拔功能做评估。在实施过程中，由于测试人员对NVMe SSD不了解导致系统崩溃的事情时有发生；或者对如何测试NVMe SSD热插拔无从下手。那么这篇文章，就跟大家分享在NVMe SSD热插拔过程中需要注意的问题（Linux环境下）。

我们先来了解下SAS/SATA 和NVMe在硬件上的差别。对SAS和SATA比较熟悉的人知道，SAS和SATA设备通过控制器接入系统（如下图的SATA）。SAS和SATA设备的热插拔是由其控制器管理的。对于SAS来说，以常用的MegaRAID为例，其定义了一个热插拔event，当设备插入或者设备拔出时，MegaRAID会产生一个event并交由MegaRAID驱动处理。对于SATA而言，AHCI协议规定了控制器对热插拔的处理流程，并确定控制器必须在热插拔产生时触发一个中断，这样内核的AHCI驱动就可以在中断中处理热插拔事件。

NVMe SSD是不需要控制器的，NVMe直接连接到通用的PCIe Bus上（如下图），跟SAS/SATA控制器一个级别。NVMe SSD热插拔完全依赖于Host的PCIe处理机制。

因而，对于使用控制器的SAS和SATA硬盘来说，可以由控制器厂家进行测试并保证热插拔功能。但是NVMe SSD却依赖于Host端的PCIe的配合，PCIe由于其通用性，在支持NVMe SSD上没有SAS/SATA控制器那么完美。对于用户来说，需要认识到SAS/SATA和NVMe在这方面的不同之处。

省去了控制器的NVMe比SAS/SATA的热插拔要复杂的多。在进行热插拔测试之前，第一步就是要确认当前的系统是否支持热插拔。

1，确认SSD的支持
对于SSD，热插拔需要保证在插盘的过程中不会产生电流波峰而损坏器件；拔盘的时候，不会因为突然掉电而丢失数据。这个可以向SSD供应商确定或者查看产品规格书。

2，确认PCIe卡槽的支持
上面提到，NVMe是直接连接到PCIe Bus上的，U.2接口也是直接跟PCIe相连（当判断插入的设备为NVMe SSD时）。某些U.2接口内部连接的PCIe卡槽并不支持热插拔。PCIe Spec规定了热插拔寄存器。下图（通过lspci -vvv获取）显示了一个PCIe卡槽的Capabilities寄存器信息。其中LnkSta，SltCap，SltCtl和SltSta 4个部分在热插拔过程中比较有用（具体意义请参考PCIe Spec）。HotPlug和Surprise是最基础的判断热插拔的标志位。SltSta中有一个PresDet位指示当前是否有PCIe设备插入卡槽。

我们可以通过下面的方法判断NVMe设备连接的PCIe卡槽是否支持热插拔。

找到NVMe SSD（如nvme0n1）对应卡槽的地址（如0000:04:06.0）；通过lspci获得卡槽的热插拔寄存器信息（如果显示为hotplug+,Surprise+则支持热插拔）

3，确认操作系统的支持
PCIe热插拔并不是完全由操作系统处理的，也有可能由BIOS处理，这完全取决于服务器BIOS的设计。当操作系统启动时，会根据ACPI提供的信息来了解到底由谁处理PCIe热插拔。如果由操作系统处理，则会根据PCIe卡槽发送的中断获知热插拔事件。对于Linux系统来说，一般使用pciehp驱动来干这件事情。所以，最简单的判断方法就是看系统中是否注册了热插拔中断服务程序。

对于Linux的NVMe热插拔支持将会单独用一篇文章讲解，此处不再多说。

4，确认NVMe驱动的支持
与其说驱动的支持，不如说驱动中是否有Bug。Linux内核提供了NVMe驱动，但是在实际的测试中，驱动的处理不当容易导致系统Crash和Hang住。产生这些问题的原因基本上可以归纳为NVMe驱动release设备和pciehp release设备产生竞争，出现空指针；NVMe驱动release设备时，上层调用sync函数导致进程block住。这个最好跟SSD 厂商沟通好自己的测试环境，以便提前了解可能出现的问题。

如果这些环节都通过，基本上可以确认当前的系统可以进行热插拔了。但是目前，Linux系统和PCIe热插拔驱动存在不少问题，我们在操作中还需要避免出现下面的情况：

避免在一个服务器上短时间内频繁地（或者同时对多个设备）进行热插拔操作

原因：这是pciehp驱动中热插拔处理的bug，centos7都没有解决。

潜在的问题：可能导致pciehp进程block住，之后插入的盘无法识别。

解决办法：当对多个盘操作时，顺序进行热插拔，并打开pciehp的debug功能，通过dmesg获得pciehp热插拔处理进度。

避免对带有I/O的设备进行热插拔（尤其是启用了Cache的I/O）

原因：这是由于Linux Block层与PCIe热插拔的配合问题导致的。

潜在的问题：可能导致系统某些进程block住，或者系统crash。

解决办法：通过设置卡槽的power值，在拔盘之前通知操作系统先移除设备。

避免对已经mount文件系统的设备进行热插拔

原因：mount无法感知热插拔事件。

潜在的问题：文件系统无法使用，数据丢失。

解决办法：提前umount文件系统。

按照上面的方法，能够避免绝大多数问题。但是还是可能出现错误，尤其在一些新的服务器厂商的产品中，由于兼容性问题导致NVMe设备无法识别。那么我们可以通过卡槽的Capabilities寄存器信息判断。如果设备没有被PCIe系统正确识别，那么就需要咨询厂商了。

总结
这篇文章主要介绍了在进行NVMe SSD热插拔时需要注意的事项。首先，我们检查系统是否支持NVMe热插拔，然后避免出现上面提到的3种情况。PCIe目前还无法做到如SATA/SAS一样的支持力度，这个需要服务器厂商和SSD厂商共同推进，相信在未来会越来越好。用户在这个阶段，只有尽量和厂商多沟通，才能避免操作中造成系统崩溃，数据丢失等风险。