Dell EMC NVDIMM-N 永久性内存
用户指南
February 2021
Rev. A11
注意、小心和警告
注: “注意”表示帮助您更好地使用该产品的重要信息。
小心: “小心”表示可能会损坏硬件或导致数据丢失, 并告诉您如何避免此类问题。
警告: “警告”表示可能会导致财产损失、人身伤害甚至死亡。
© 2017 - 2021 Dell Inc. 或其子公司。保留所有权利。 Dell、 EMC 和其他商标是 Dell Inc. 或其附属机构的商标。其他商标可能是其各自所有者的商标。
目录
章 1: 简介........................................................................................................................................5
章 2: 更改列表................................................................................................................................. 6
章 3: NVDIMM-N 概览...................................................................................................................... 7
正常运行.................................................................................................................................................................................7
备份到闪存.............................................................................................................................................................................8
从闪存恢复.............................................................................................................................................................................9
章 4: 硬件...................................................................................................................................... 10
服务器硬件配置...................................................................................................................................................................10
模块化机箱硬件配置.......................................................................................................................................................... 14
NVDIMM-N 模块详细信息.................................................................................................................................................14
电池........................................................................................................................................................................................15
最低平台固件版本...............................................................................................................................................................16
章 5: BIOS..................................................................................................................................... 17
NVDIMM-N 的 BIOS 配置设置 .......................................................................................................................................... 17
BIOS 错误消息 ..................................................................................................................................................................... 21
章 6: iDRAC NVDIMM-N 管理..........................................................................................................23
iDRAC 图形用户界面 ..........................................................................................................................................................23
NVDIMM-N 状态 ...........................................................................................................................................................23
BBU 状态 ........................................................................................................................................................................24
登录消息传送勘误表....................................................................................................................................................25
远程管理.............................................................................................................................................................................. 25
NVDIMM-N 错误报告........................................................................................................................................................ 25
章 7: 安装 NVDIMM-N 后的服务器行为..............................................................................................27
关机....................................................................................................................................................................................... 27
引导....................................................................................................................................................................................... 27
自动关机并保存..................................................................................................................................................................28
章 8: DIMM 配置更改......................................................................................................................29
章 9: Windows...............................................................................................................................30
BIOS 要求.............................................................................................................................................................................30
设置.......................................................................................................................................................................................30
Windows 驱动程序 ............................................................................................................................................................. 30
Windows Server 2016 中的存储级内存 ...........................................................................................................................30
设备管理器.................................................................................................................................................................... 30
识别正确的 NVDIMM-N 磁盘......................................................................................................................................31
NVDIMM-N 的运行状况和属性..................................................................................................................................33
目录
3
块模式 .............................................................................................................................................................................33
DAX 模式 ........................................................................................................................................................................ 33
存储空间支持................................................................................................................................................................ 34
运行和诊断记录信息....................................................................................................................................................34
Windows Server 2019 中的存储级内存 ...........................................................................................................................35
NVDIMM-N 固件要求 .................................................................................................................................................. 35
驱动程序体系结构概览 ................................................................................................................................................35
Windows Server 2019 标签支持和命名空间管理中的新功能 ............................................................................... 35
PowerShell Cmdlet........................................................................................................................................................ 37
NVDIMM-N 交叉存取 ...................................................................................................................................................38
为 Hyper-V 虚拟机配置 NVDIMM-N......................................................................................................................... 38
NVDIMM-N RO 行为 .................................................................................................................................................... 39
Windows 勘误 ......................................................................................................................................................................39
章 10: Linux...................................................................................................................................40
识别并配置 PMEM — 永久性内存设备......................................................................................................................... 40
安装........................................................................................................................................................................................41
验证现有文件系统...............................................................................................................................................................41
只读模式下的 NVDIMM-N.................................................................................................................................................41
交叉存取............................................................................................................................................................................... 41
交叉存取设置................................................................................................................................................................. 41
交叉存取验证................................................................................................................................................................ 42
只读模式 NVDIMM-N...................................................................................................................................................42
管理公用程序...................................................................................................................................................................... 43
ndctl.................................................................................................................................................................................43
mdadm............................................................................................................................................................................ 44
RHEL 7.6 功能 ..................................................................................................................................................................... 44
Linux 勘误表 ........................................................................................................................................................................ 45
章 11: ESXi.................................................................................................................................... 46
设置.......................................................................................................................................................................................46
存储.......................................................................................................................................................................................46
命名空间.........................................................................................................................................................................47
交叉存取集.....................................................................................................................................................................47
数据存储.........................................................................................................................................................................48
受支持的来宾 OS 和 NVDIMM 支持............................................................................................................................... 49
整体运行状况状态..............................................................................................................................................................49
运行和诊断记录信息..........................................................................................................................................................49
过时的固件.................................................................................................................................................................... 50
NVDIMM-N 错误 .................................................................................................................................................................50
ESXi 勘误表 ..........................................................................................................................................................................51
章 12: 一般勘误 .............................................................................................................................. 52
4
目录
1
简介
DellEMC 的 NVDIMM-N 永久内存是一种颠覆性的存储级内存技术, 它在传统存储技术的基础上, 进行了前所未有的性能改进。每个
NVDIMM-N 都提供 16 GB 的非易失性内存, 且具有与标准 288 针 DDR4 DIMM 相同的外形规格。 NVDIMM-N 安装于标准 CPU 内存
插槽中, 使数据更靠近处理器。由于 NVDIMM-N 能够以 2666MT/s DDR4 的数据率运行, 因此可以充分利用内存总线所特有的高带
宽和极低延迟优势。下表提供了 DDR4 与其他服务器存储介质相比的近似数据访问时间。
表. 1: 存储技术
存储技术 数据访问时间
15K SAS 磁盘 大约 6,000,000 毫微秒
SATA SSD 大约 120,000 毫微秒
NVMe SSD 大约 60,000 毫微秒
DDR4 NVDIMM-N 大约 150 毫微秒
本说明文件提供了 DellEMC NVDIMM-N 永久内存解决方案的概览。它旨在帮助用户完成初始设置和配置 , 同时提供在安装
NVDIMM-N 后有关系统行为的信息。本说明文件还将帮助用户熟悉 NVDIMM-N 的可管理性和错误处理。最后, 它会为用户介绍在各
种受支持的操作系统中 NVDIMM-N 的基本设置和配置。
简介
5
表 . 2: 更改列表
2
更改列表
Version (版本)
A00
A01 添加了 ESXi 6.7 支持信息。卸下了不再适用的 Linux 勘误表。编辑了文档的其余部分以表
A02
A03
A04
A09 更新了 Windows 勘误表
A10
A11 修复了 RHEL 7.6 功能一章中的超链接
更改
原始版本
达清楚。
添加了特定于模块化服务器的信息, 支持 R840 、R940xa, 对 BBU LED 行为进行更改,
并编辑其余部分以表达清楚。
在 RHEL 7.5 上支持 NVDIMM-N
添加了最低支持的平台固件版本
支持 Windows 2019 、RHEL 7.6 和 ESXi 6.7 U1 。
Windows 2019 新功能和 NVDIMM-N RO 行为
RHEL 7.6 功能部件和错误修复
更新了 Linux 勘误表
NVDIMM-N 配置不支持节点交叉存取 (RDIMM)
添加了一般勘误
6
更改列表
3
NVDIMM-N 概览
下图是 NVDIMM-N 的概览, 其中显示了主要组件和系统接口。NVDIMM-N 的核心是 DDR4 DRAM 设备, 这些设备支持 NVDIMM-N
作为 RDIMM 运行。支持 NVDIMM-N 存留数据的组件是控制器、闪存和调压器, 这些组件也集成在 DIMM 上。
图 1: NVDIMM-N 概览
主题:
• 正常运行
• 备份到闪存
• 从闪存恢复
正常运行
NVDIMM-N 安装在服务器内存插槽中。从硬件角度来看, NVDIMM-N 好像是作为标准 DDR4 RDIMM 的处理器。它们会在 BIOS 开机
自测期间进行初始化, 并且 CPU 可以使用标准 DDR4 内存载入/ 存储事务访问 NVDIMM-N 上的 DRAM 数据。
NVDIMM-N 概览 7
图 2: NVDIMM-N 正常运行
备份到闪存
在服务器关闭、冷重新引导或断电的情况下, 会将保存信号发送至 NVDIMM-N 控制器, 然后触发 NVDIMM-N 控制器将所有 DRAM
内容备份到其板载闪存存储。只要服务器即将断电并且 NVDIMM-N 的电源中断, 就会触发 NVDIMM-N 保存事件。完成此备份过程
大约需要 1 分钟。此持续时间独立于服务器中安装的 NVDIMM-N 数量, 因为保存过程跨所有 NVDIMM-N 并行执行。
电池将为 NVDIMM-N 提供备用电源, 以便即使在断电后也可以完成备份操作。保存操作完成后, 电池将停用, 以允许服务器和
NVDIMM-N 完全关闭电源。
图 3: 保存操作
8 NVDIMM-N 概览
从闪存恢复
在服务器开机时 ,BIOS 将初始化 NVDIMM-N 上的 DRAM。 BIOS 使用 SMBus 管理接口来命令 NVDIMM-N 控制器从闪存恢复其
DRAM 内容。完成此恢复过程大约需要 1 分钟。此持续时间独立于服务器中安装的 NVDIMM-N 数量, 因为恢复过程跨所有
NVDIMM-N 并行执行。之后, BIOS 会将 NVDIMM-N 呈现给服务器操作系统以作为永久内存。请注意, 永久内存与正常操作系统操
作所需的系统内存截然不同。有关永久内存的操作系统支持的详情, 请参阅相应的操作系统部分。
4: 恢复操作
图
NVDIMM-N 概览 9
4
硬件
主题:
• 服务器硬件配置
• 模块化机箱硬件配置
• NVDIMM-N 模块详细信息
• 电池
• 最低平台固件版本
服务器硬件配置
NVDIMM-N 目前在 T640 、R640 、R740/R740XD 、R840 、R940 、R940xa 、MX740c 和 MX840c PowerEdge 服务器中均受支持。每
个服务器最多支持 1 个到最多 12 个 16 GB 的 NVDIMM-N ( 192 GB 的总永久性内存容量) 。下面的表 1 提供了已验证的 NVDIMM-N
配置, 并且完全支持双插槽服务器配置。对于 R840 、R940 、R940xa 和 MX840c PowerEdge 服务器中的 4 插槽配置,NVDIMM-N 仅
在 CPU 1 和 CPU 2 内存插槽中受支持。下面的表 2 提供了已验证的 NVDIMM-N 配置, 并且完全支持 R840 、R940 、R940xa 和
MX840c 四插槽配置。
请参阅图 5 了解作为示例的 R740/R740XD CPU 和 DIMM 插槽位置。有关内存安装原则, 请参阅相应服务器的安装和服务手册。
图 5: R740/R740XD 内存布局
表. 3: 支持的 NVDIMM-N 配置,2 插槽
NVDIMM-N NVDIMM-N 容量 RDIMM RDIMM
容量
1x 16 GB 12x 16 GB 192 GB RDIMM: A1-A6, B1-B6
1x 16 GB 12x 32 GB 384 GB RDIMM: A1-A6, B1-B6
10
硬件
DIMM 填充位置
NVDIMM-N: A7
表 . 3: 支持的 NVDIMM-N 配置 ,2 插槽 ( 续 )
NVDIMM-N NVDIMM-N 容量 RDIMM RDIMM
容量
1x 16 GB 23x 32 GB 736 GB RDIMM: A1-A12, B1-B11
2x 32 GB 12x 16 GB 192 GB RDIMM: A1-A6, B1-B6
2x 32 GB 12x 32 GB 384 GB RDIMM: A1-A6, B1-B6
2x 32 GB 22x 32 GB 704GB RDIMM: A1-A11, B1-B11
4x 64 GB 12x 16 GB 192 GB RDIMM: A1-A6, B1-B6
4x 64 GB 12x 32 GB 384 GB RDIMM: A1-A6, B1-B6
DIMM 填充位置
NVDIMM-N: A7
NVDIMM-N: B12
NVDIMM-N: A7, B7
NVDIMM-N: A7, B7
NVDIMM-N: A12, B12
NVDIMM-N: A7-A8,
B7-B8
NVDIMM-N: A7-A8,
B7-B8
4x 64 GB 20x 32 GB 640GB RDIMM: A1-A10, B1-
B10
NVDIMM-N: A11-A12,
B11-B12
6x 96 GB 12x 16 GB 192 GB RDIMM: A1-A6, B1-B6
NVDIMM-N: A7-A9,
B7-B9
6x 96 GB 12x 32 GB 384 GB RDIMM: A1-A6, B1-B6
NVDIMM-N: A7-A9,
B7-B9
6x 96 GB 18x 32 GB 576 GB RDIMM: A1-A9, B1-B9
NVDIMM-N: A10-A12,
B10-B12
12x 192 GB 12x 16 GB 192 GB RDIMM: A1-A6, B1-B6
NVDIMM-N: A7-A12,
B7-B12
12x 192 GB 12x 32 GB 384 GB RDIMM: A1-A6, B1-B6
NVDIMM-N: A7-A12,
B7-B12
注意:虽然其他配置可能会起作用, 但它们尚未经过完全验证并且当前不受 DellEMC 支持。
硬件
11
图 6: MX740c 内存布局
表. 4: 支持的 NVDIMM-N 配置,R940 ,MX840c 4 插槽 4 插槽
NVDIMM-N NVDIMM-N 容量 RDIMM RDIMM
容量
1x 16 GB 24x 16 GB 384 GB RDIMM: A1-A6, B1-
1x 16 GB 24x 32 GB 768 GB RDIMM: A1-A6, B1-
1x 16 GB 47x 32 GB 1504 GB RDIMM: A1-A12, B1-
2x 32 GB 24x 16 GB 384 GB RDIMM: A1-A6, B1-
2x 32 GB 24x 32 GB 768 GB RDIMM: A1-A6, B1-
DIMM 填充位置
B6, C1-C6, D1-D6
NVDIMM-N: A7
B6, C1-C6, D1-D6
NVDIMM-N: A7
B11, C1-C12, D1-D12
NVDIMM-N: B12
B6, C1-C6, D1-D6
NVDIMM-N: A7, B7
B6, C1-C6, D1-D6
NVDIMM-N: A7, B7
12
硬件
表. 4: 支持的 NVDIMM-N 配置,R940 ,MX840c 4 插槽 4 插槽 ( 续)
NVDIMM-N NVDIMM-N 容量 RDIMM RDIMM
容量
2x 32 GB 46x 32 GB 1472GB RDIMM: A1-A11, B1-
4x 64 GB 24x 16 GB 384 GB RDIMM: A1-A6, B1-
4x 64 GB 24x 32 GB 768 GB RDIMM: A1-A6, B1-
4x 64 GB 44x 32 GB 1408GB RDIMM: A1-A10, B1-
6x 96 GB 24x 16 GB 384 GB RDIMM: A1-A6, B1-
DIMM 填充位置
B11, C1-C12, D1-D12
NVDIMM-N: A12, B12
B6, C1-C6, D1-D6
NVDIMM-N: A7-A8,
B7-B8
B6, C1-C6, D1-D6
NVDIMM-N: A7-A8,
B7-B8
B10, C1-C12, D1-D12
NVDIMM-N: A11-A12,
B11-B12
B6, C1-C6, D1-D6
NVDIMM-N: A7-A9,
B7-B9
6x 96 GB 24x 32 GB 768 GB RDIMM: A1-A6, B1-
B6, C1-C6, D1-D6
NVDIMM-N: A7-A9,
B7-B9
6x 96 GB 42x 32 GB 1344 GB RDIMM: A1-A9, B1-
B9, C1-C12, D1-D12
NVDIMM-N: A10-A12,
B10-B12
12x 192 GB 24x 16 GB 384 GB RDIMM: A1-A6, B1-
B6, C1-C6, D1-D6
NVDIMM-N: A7-A12,
B7-B12
12x 192 GB 24x 32 GB 768 GB RDIMM: A1-A6, B1-
B6, C1-C6, D1-D6
NVDIMM-N: A7-A12,
B7-B12
12x 192 GB 36x 32 GB 1152 GB RDIMM: A1-A6, B1-
B6, C1-C12, D1-D12
NVDIMM-N: A7-A12,
B7-B12
注:
1. NVDIMM-N 在 CPU 插槽 3 和 4 内存插槽中不受支持
硬件
13
2. 虽然其他配置可能会起作用, 但它们尚未经过完全验证并且当前不受 DellEMC 支持。
模块化机箱硬件配置
MX7000 模块化机箱目前提供两种不同的服务器, 支持 NVDIMM-N : MX740c ( 2 插槽) 和 MX840c ( 4 插槽) 。为了检测到断电情
况, 机箱必须至少安装一个管理模块。虽然不要求 NVDIMM-N 支持, 但双管理模块可为 NVDIMM-N 解决方案提供额外的冗余性和
可靠性。
如果用户在安装了具有 NVDIMM-N 的服务器且执行了管理模块固件更新的情况下运行, 则建议使用两个管理模块来安装机箱。如果
机箱具有单个管理模块, 则在管理模块升级期间, 服务器中的 NVDIMM-N 可能处于只读模式。
NVDIMM-N 模块详细信息
图 6 是典型 NVDIMM-N 的图片, 它显示了 NVDIMM-N 上状态 LED 的位置。表 3 介绍了在不同操作模式下的 NVDIMM-N LED 行
为。
DIMM 具有以下主要功能:
● JEDEC 合规 DDR4 288 针 NVDIMM-N
● 16 GB RDIMM, PC4-2666
● SLC 闪存, 用于备份
● 系统运行状况监测和警报
● 带有集成 SPD EEPROM 的板载 I 2C 温度传感器
图 7: NVDIMM-N
表. 5: : NVDIMM-N LED 行为
NVDIMM-N 操作 绿色 LED 蓝色 LED 琥珀色 LED
关闭电源 熄灭 熄灭 熄灭
NVDIMM-N 经历开机和初始化
打开 熄灭 打开
NVDIMM-N 工作正常
保存正在进行的恢复操作 打开 快速闪烁 熄灭
14
硬件
打开
缓慢闪烁( 每 15 秒)
熄灭
电池
需要电池才能将内容从 DRAM 复制到闪存。虽然基于 JEDEC 的 NVDIMM-N 可以使用超级电容器作为备份电源, 但 DellEMC 的电池
是一种集中式电源解决方案, 可提供更小巧、可靠且集成的电源。供电集成到系统板中, 并且不需要单独的线缆连接到每个
NVDIMM-N ,这是基于超级电容器的解决方案。
在首次检测到断电时, 服务器将激活电池并触发 NVDIMM-N 以将其 DRAM 内容保存到闪存中。保存过程大约需要一分钟才能在
T640 、R640 、R740/R740XD 、R840 、R940 和 R940xa 服务器中完成, 并且在 MX740c 和 MX840c 服务器中需要 140 秒完成。在这
段时间内, 需要电池来为备份提供电力。电池仅能为必须处于通电状态的服务器子系统提供电力, 以完成保存。所有其他子系统均
已关闭或置于低功耗状态, 以节省电池寿命。保存完成后, 电池将处于停用状态, 并允许服务器完全关闭电源。在模块化机箱中,
电池还为系统风扇提供电力, 以便在发生断电事件后在 NVDIMM 保存期间提供冷却。
表. 6: 电池 LED 状态
电池操作
关闭电源 熄灭
闲置( 在服务器打开时未充电且未启用)
维护充电 打开
紧急充电(NVDIMM-N 最低要求的电池容量低于保存 NVDIMM-N 的需求, 服务器已开机)
电池已启用和放电( 检测到电源断电, 使用电池为 NVDIMM-N 保存操作供电)
如果未安装电池或电池未完全充电,BIOS 将从其板载闪存还原 NVDIMM-N DRAM 内容, 但 BIOS 将保持 NVDIMM-N 处于只读模
式。这样, 操作系统和应用程序就可以访问 NVDIMM-N 数据, 同时防止因断电而造成的潜在数据丢失。
NVDIMM-N 电池不可热插拔。要防止数据丢失和对系统的潜在损坏, 确保系统、系统上的 LED、 NVDIMM-N 上的 LED 和 NVDIMMN 电池上的 LED 已熄灭, 然后再安装或卸下 NVDIMM-N 电池。
下面的图 7 显示了 R740/R740XD 中的 NVDIMM-N 电池线缆的系统板连接( 项目 36 和 38) 。图 8 显示了如何在 R740/R740XD 中
安装和放置电池。有关如何安装或卸下电池的详细说明, 请参阅每个服务器的安装和服务手册。
绿色 LED
熄灭
闪烁
闪烁
图 8: R740/R740XD 系统板连接
硬件
15
注: 每台服务器的连接器位置将有所不同。有关详细信息, 请参阅您的特定服务器的安装和服务手册。
图 9: R740 电池安装说明
注: 每台服务器的电池安装位置将有所不同。有关说明, 请参阅您的特定服务器的安装和服务手册。
最低平台固件版本
要使 NVDIMM-N 模块在 PowerEdge 服务器上正常工作, 需要的最低平台固件版本如下所示:
● BIOS: 1.1.7
● iDRAC: 3.00.00.00
注 : 某些操作系统需要特定最低版本的 BIOS 、NVDIMM-N 和/ 或 iDRAC 固件。有关更多详细信息, 请参阅操作系统的各个部
分。
16
硬件