March 2009
BladeCenter S
SAS Raid Module
配置指南
Writer An Yuan
IBM Technical Sales Support
BladeCenter S SAS Raid Module 配置指南
一．使用 SCM 配置 BladeCenter S 的 RSSM 阵列....................................................3
测试环境： ............................................................................................................3
配置前准备：.........................................................................................................3
配置步骤： ............................................................................................................3
安装 SCM 软件............................................................................................3
1.
运行 SCM ....................................................................................................5
2.
向导界面配置 SCM .....................................................................................6
3.
配置阵列......................................................................................................9
4.
保存、激活配置.........................................................................................15
5.
二．设置 Linux 系统下的 Multipath 驱动..................................................................16
环境 .....................................................................................................................16
目标：..................................................................................................................16
实现：..................................................................................................................16
创建逻辑卷： ........................................................................................16
1.
确认端口识别逻辑卷 .............................................................................17
2.
下载使用 multipath.conf 配置文件 ........................................................17
3.
三．RSSM 常见问题 Q&A..........................................................................................19
名称简介 ..........................................................................................................19
1
BladeCenter S
结构简介 ..........................................................................................................19
2
接口简介 ..........................................................................................................19
3
4 SAS
5
6 RSSM
7
8 BladeCenter
9 RSSM
10
10 RSSM
.............................................................................................................................23
11
12
附录：相关手册、红皮书............................................................................................24
1 RSSM
2 BladeCenter
3 BladeCenter S
4 RSSM
结构图.......................................................................................................20
网络结构图.......................................................................................................21
能用在哪些刀片中心上： ...................................................................21
使用 RSSM，在 BC-S 上必须配置哪些设备？................................................21
里 RAID 概念和其他存储盘柜或 raid 卡有什么不同？ .......................22
如何确定 RSSM 的 SAS Switch IP 地址？....................................................22
是否支持刀片服务器从 BCS 上的热插拔硬盘启动（boot from volume）？
操作系统见兼容列表（详见附录 8） .............................................................23
兼容 Blade 服务器（详见附录 8）.................................................................23
资料汇总...............................................................................................24
简明使用手册 ........................................................................................24
上使用的带 RAID 功能的 SAS 模块有几种不同的称呼 ：..19
上，IBM 提供的哪些管理软件？..............................................22
红皮书..........................................................................................24
红皮书 ......................................................................................24
1
5 RSSM 用户安装手册 ........................................................................................24
6 RSSM
7
8 RSSM
7 SCM
8 SNA(Start Now Advisor)
9 IBM BladeCenter Integrated Manager
远程安装手册 ........................................................................................24
刀片兼容性手册 ...............................................................................................24
兼容性手册............................................................................................25
下载连接..................................................................................................25
下载连接....................................................................25
下载.....................................................25
2
BladeCenter S SAS Raid Module 配置指
该配置指南包含三部分内容：
一．使用
二．
三．
一．使用 SCM 配置 BladeCenter S 的 RSSM 阵列
测试环境：BladeCenter S 一台，HS21(8853) 刀片服务器一台，2 个 SAS RAID Module
（RSSM），2 个 RSSM 电池备份单元，1 个以太网交换模块，4 块 SAS Hot swap Disk ，
SAS Expansion card (cFFv) 一块
配置前准备：BCS 机箱内 Bay3/4 插入 2 个 SAS RAID Module，在 BCS 前面插入相应
SCM 软件向导配置 BladeCenter S 的 RSSM。
设置 Linux 系统下的 Multipath 驱动。
RSSM Q&A 。
南
的电池备份模块。在
SAS HBA 卡的 HS21 ；连接所有所需的电源线以及网络线缆。
Bay1 位置插入 1 个以太网交换模块，插入 SAS 热插拔硬盘以及带有
配置步骤：
1.安装 SCM 软件
首先在刀片外的管理机(可以是台式机、笔记本或者可以和 AMM 通讯的管理服务器)上，安
SCM 软件(图 1-1)。
装
3
图 1-1
按照向导可以逐步完成 SCM 的安装，选择完全安装，如下图(图 1-2)所示：
图 1-2
安装向导结束后重启管理节点的机器，完成安装(图 1-3)：
4
图 1-3
2.运行 SCM
图 1-4
运行 SCM 会通过 IE 窗口打开登陆界面，启动时需要输入用户名和密码（图 1-3）：
SCM 使用本机的用户名和密码，也就是安装 SCM 软件这台机的管理员用户名和密码。输 入正确的用户名和密码后，选择
Log in 登陆。
提示：
1.SCM 1.2 不支持 Firefox 3.x，请使用 Firefox 2.x;
2. SCM 自动识别浏览器首选语言，修改浏览器设置，可使用相应语言版本的 SCM。3.SCM
登陆有两种方法：
A) 在安装 SCM 的机器上直接登陆，使用程序里的 SCM 启动菜单；
B) 在远程的机器上通过 IE 登陆 SCM：需要在 IE 地址栏输入
5
https://IP Address:32101/ibm/Console/Logon.jsp (根据版本不同，地址有可能不一
样，详细请看 SCM 的 readme 文档) ，其中“IP Address”是安装 SCM 的服务器的地址。
3.向导界面配置 SCM
SCM v2.10.0 为我们提供了一个整个的存储配置管 理器，使用它不仅能够配置 BCS 的
RSSM 模块，还能够配置一系列 LSI 的阵列卡，包括 ServeRaid MR 系列控制器，主板集
LSI 控制器，以及 BladeCenter 上使用的 SAS Connective Module 模块 (图 1-5)。
成的
在主界面选择
SAS RAID Module ，我们下面使用向导方式配置 SAS 硬盘的整列。
图 1-6
选择 BladeCenter S SAS RAID 控制器模块后，可以看到和
RAID 模块有关的配置（图 1-6），这里选择初始设置向导继
续（图
1-7）：
图
1-5
6
图 1-7
选择向导后，首先需要输入 SAS 交换模块的 IP 地址以及用户名和密码，默认的用户名和
密码是
填的，
USERID / PASSW0RD（password 的字母 O 改成数字 0），打星号的位置是必须要
RAID Controller 的密码也是 PASSW0RD（图 1-8）。
提示：交换机的 IP 地址可以登陆 AMM 确认(参考 Q&A：如何确认 SAS Switch 的 IP 地址) ；
对于 RSSM，由两部分组成“SAS Switch + SAS RADI Controller”，SAS Switch 和 SAS RAID
控制器分别有各自的 IP 地址以及管理用户名和密码，默认密码相同(大写 PASSW0RD，数
字零代替字母 O)，但 IP 地址不同。如需要更改用户名和密码，可在后面的设置中修改。
图 1-8
7
填好之后，选择 Next。
接下来的两步可以分别设置
络中有
NTP 服务器作为时间同步服务，可以在这里添加(图 1-8)。如果没有 NTP Server，
SAS 交换机以及 SAS RAID 控制器的系统时间和日期，如果网
直接选择下一步：
图 1-8
点下一步后会进入 SAS RAID 控制器的配置界面界面：
图 1-9
这里没有 NTP Server（图 1-9），直接选择 Next 。接下来可以分别
修改当前的
SAS 模块和 SAS Raid Controller 的的配置用户配置信息（图 1-10、图 1-11）。
如果在此处进行修改，建议保持
续：
2 个模块的用户信息相同。如不做修改可以直接点 Next 继
8
图 1-10
图 1-11
4.配置阵列
SCM 给出三种配置方式（图 1-12）：
1. 应用一个已经预定义好的配置；
2. 应用一个备份配置文件；
3. 自定义配置：a) 允许系统选择硬盘(简单) ；b) 手动硬盘(高级) 。
9
图 1-12
选择手动配置，点 Next，进入阵列配置的下一个界面。这里是配置热备份盘的界面（图 1-13），
可以根据需要在下拉框里选择所需要的热备盘数量，如果不需要热备盘，在这里选择
0 。
图 1-13
测试中选择配置一块热备份盘，配置好热备盘之后，选择 Next，进入到 Storage Pool 的配
置界面（图
该页面左下方会显示所有可用的硬盘。首先在
array-1)；然后在 Required disk type 里会列出选择需要的硬盘类型，该下拉框里会列出
如
可用硬盘的类型
框会有不同选项
1-14）。
Storage pool name 里填入该存储池的名字(例
(如果 BCS 上插了不同容量，或者不同类型 SAS 和 SATA 的硬盘，该下拉
)；Required RAID level 列出了可用的 Raid 级别，这里以 raid5 为例继续。
10
图 1-14
在要使用的硬盘前面打上勾，点 Add 把硬盘从左边的 Available Disk Drives 移到右边 Added
DiskDrives
，也就是把硬盘移到 array-1 的存储池里。
图 1-15
点 Next 后进入下一个界面：
11
图 1-16
选 OK，可以看到刚才配置的存储池以及阵列的相关信息（图 1-17）：
图 1-17
点 Next 后，进入到下一界面开始配置逻辑盘（图 1-18）。该页面里可以设置需要的逻辑盘，
填入逻辑盘的名字，大小，数量就可以创建出不同的逻辑盘。这里把
成三个逻辑盘：
v1- 20GB / v2- 20GB / v3- 25.9GB 。
65.95GB 的阵列建立
12
图 1-18
创建好逻辑盘后，点 Next 做逻辑盘和主机的映射。第一次配置是，在下图里 Hosts 的列表
中可能为空，选择
Expansion card
Discover Hosts（图 1-19），控制器能自动检测到可用服务器的 SAS
的信息（图 1-20）
图 1-19
13
图 1-20
检测到主机后，选择 close 关闭该窗口。进行逻辑盘和主机的映射，首先选中主机，然后选
择要映射给该机器的逻辑盘（图
1-21），选择 Map Volume 选项即可。
图 1-21
选择 Next 继续，向导会提偶那个配置的 Summary 选项，能分别查看更详细的配置信息。
14
图 1-22
选择下一步后完成向导，这时配置过程基本完成，接下来需要保存该配置，并且激活配置才
能使得刚才的真正生效。
5.保存、激活配置
选择左导航栏 BC-S SAS RAID Module 下 Configurations 选项，如图 1-23，CannedConfig
是默认的配置，这里线选择保存配置 Save Current Configuration，可以为自定义的配置起
合适的名字保存：
图 1-23
保存完成后，需要选中要使用的配置信息，并在下拉框里选则应用：
图 1-23
应用配置之后，需要重新启动服务器，可以在 ctrl+C 里看到系统能够认到刚才配置的硬盘
1-24）：
（图
15
图 1-24
提示：因为默认情况下，BCS 是配置了两个控制器作为冗余连接，所以这里会看到 2 个硬
盘。需要在系统里安装 Multipath 的驱动 Subsystem Device Driver Device Specific Module
(SDDDSM)下载链接参考：
Subsystem Device Driver Microsoft Windows System :
http://www-01.ibm.com/support/docview.wss?rs=540&context=ST52G7&dc=D430&uid=s
sg1S4000350&loc=en_US&cs=utf-8&lang=en
Subsystem Device Driver for Linux
http://www-01.ibm.com/support/docview.wss?rs=540&context=ST52G7&dc=D430&uid=s
sg1S4000107&loc=en_US&cs=utf-8&lang=en
二．设置 Linux 系统下的 Multipath 驱动
环境
BC-S
1*HS21+SAS EXPANSION CARD RHEL5.1
2*RSSM
1*DSM+2HDD
目标：
映射 RSSM 逻辑卷到 HS21，安装 RHEL5 多路径驱动。
实现：
1. 创建逻辑卷：
请参考 SCM 使 用 手 册 创 建 一 个 合 适 大 小 的 volume， 如 图 是已经 映 射到刀片 SAS
EXPANSION CARD
两个端口上的逻辑卷：wxpool:wxvol2 作为 lun1 映射到了刀片子卡上。
16
2. 确认端口识别逻辑卷
POST 过程中，在 Ctrl+C 中确认子卡的两个端口都可以看到映射的逻辑卷进入系统，
dm-multipath 驱动已经加载：
确认
3. 下载使用 multipath.conf 配置文件
从 IBM RSSM support 站点下载 multipath.conf 配置文件：
http://www-01.ibm.com/support/docview.wss?rs=540&context=ST52G7&dc=D430&u
id=ssg1S4000107&loc=en_US&cs=utf-8&lang=en
1. 备份默认的 multipath.conf 并将 IBM 提供的 conf 文件复制到/etc 目录下：
2. 启动 multipathd 后台服务：
17
3. 查看系统下的多路径设备：
可见 sdb|sdc 两个 block 设备的 WWID 是一样的，这是我们从 RSSM 映射过来的
逻辑卷。
8．重启系统，令配置生效，并查看 multipath 设备：
#multipath –v2
#multipath -ll
#multipathd –k
show topology
9．通过 multipath 驱动，我们可以看到两个不同的设备名：
dm-n：这类设备名是用来给驱动内部使用，不要使用这个设备
mpathn：这类设备名是提供给系统应用，用户使用的设备名，我们可以创建 LVM
如下：
#pvcreate /dev/mapper/mpath1
#vgcreate dm-vg /dev/mapper/mpath1
#lvcreate –L 5G –n dm-vol1 dm-vg
结果：
18
三．RSSM 常见问题 Q&A
1. 名称简介
BladeCenter S 上使用的带 RAID 功能的 SAS 模块有几种不同的称呼 ：
SAS RAID Controller Module
RAID SAS Switch Module
SASM - standard SAS I/O modules
SASM包括：
SAS Connectivity Module (39Y9195, feature code 2980)
SAS RAID Controller Module (43W3584, feature code 3734)
最常用的是简称RSSM（以下都用此简称）
2. 结构简介
RSSM包括两个内建子系统：
RAID子系统（RAID Controller subsystem）管理驱动器，RAID等
SAS子系统（SAS switch subsystem） 管理 zone的设置
3. 接口简介
6个内部1X SAS 3.0 Gb接口，分别连接到6个刀片
4个外部4X SAS 3.0 Gb接口（暂时未启用）
19
2个内部4X SAS 3.0Gb接口，分别连接到2 个disk storage module (DSM )
每控制器1 GB 缓存(cache，2 x 512 MB)
1.0 Gb 以太网接口（for RAID management）
10/100 以太网接口（ for Switch management）
4. SAS 结构图
20
5. 网络结构图
6. RSSM 能用在哪些刀片中心上？
只支持BladeCenter S
7. RSSM 购买是包含哪些组件？
客户在订购 RSSM(PN)
43W3584 IBM BladeCenter S SAS RAID Controller Module Option
46C8000 Publication Package
46C8001 Quick Start Manual
46C8002 Support CD
46C8011 SCM CD
46D0791 Flyer
17P8568 L1 for Battery Backup Unit
22R6649 Top Level Assembly Battery Backup Unit
43W3604 L1 for IBM BladeCenter S SAS RAID Controller
Module
17P9375 Aristos EULA
17P9277 Top Level Assembly IBM BladeCenter S SAS RAID Controller Module
21
8. 使用 RSSM，在 BC-S 上必须配置哪些设备？
IBM BladeCenterS SAS RAID Controller Modules（43w3584）必须配
置两个
每个43w3584附带一个电池，电池过期有提醒功能分别是90，30，15
天提醒
RAID 0和RAID1最少配置两个硬盘，RAID 5最少配置3个硬盘
RSSM只支持SAS and NL SAS drives. 可以混插，但不能用在同一阵列
必须有Advanced Management Module（AMM）模块
必须在Bay1中有网络模块，详见
附录
8 ，不支持CPM
每个刀片服务器要求配置一个39Y9190 SAS Expansion Card (CFFv)
至少配置一个DSM，当配置第二个DSM，需按规定增配电源
9. BladeCenter S 的 SAS 控制器上，IBM 提供的哪些管理软件？
不支持 BOFM（BladeCenter Open Fabric Manager）
支持SCM（IBM Storage Configuration Manager）
支持SNA（IBM Start Now Advisor）
支持IBM BladeCenter Integrated Manager
10.RSSM 里 RAID 概念和其他存储盘柜或 raid 卡有什么不同？
RSSM中的pool相当于传统RAID概念中的array
RSSM中的Volume相当于传统RAID概念的Logic drive
pool可以设定RAID的级别
一个Volume可以被指派给全部刀片服务器或其中之一
支持全局热备份，最多配置 2个Globle
支持RAID级别0，1，5，10
一个Volume最大2TB
一个Blade服务器最多被指派8 volume（总共6*8=48 volume）
11.如何确定 RSSM 的 SAS Switch IP 地址？
登陆 AMM 模块(默认 IP 192.168.70.125，用户名 / 密码 USERID / PASSW0RD )，
IO Module Task -> Configuration （该界面能同时看到 SAS Switch 的 IP 和 SAS
选择
RAID Controller
的 IP ）:
22
12.RSSM 是否支持刀片服务器从 BCS 上的热插拔硬盘启动（boot
from volume
）？
支持。
13.操作系统见兼容列表（详见附录 8）
Red Hat Linux
Novell SUSE Linux
Microsoft Windows Server
VMWare
Enterprise Linux 5 AS & ES for x86/AMD64/EM64T
SUSE LINUX Enterprise Server 10 for x86/AMD64/EM64T
2003 Standard (x32/x64), Enterprise (x32/x64), Web Edition
2008 Standard,Enterprise,Web Server
ESX Server 3.5 U2
14.兼容 Blade 服务器（详见附录 8）
IBM BladeCenter HS12 8014
IBM BladeCenter HS21 8853
IBM BladeCenter HS21 XM 7995
IBM BladeCenter LS21 7971
IBM BladeCenter LS22 7901
23
IBM BladeCenter LS41 7972
IBM BladeCenter LS42 7902
附录：相关手册、红皮书
1 RSSM 资料汇总
http://www-947.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid
=MIGR-5078481&brandind=5000020
2 BladeCenter 红皮书
http://www.redbooks.ibm.com/redpieces/abstracts/sg247523.html
3 BladeCenter S 红皮书
http://www.redbooks.ibm.com/abstracts/sg247682.html
4 RSSM 简明使用手册
ftp://ftp.software.ibm.com/systems/support/system_x/ibm_fw_bcsw_s0cl-1.0.0
.000_get_started_guide_1.0.pdf
5 RSSM 用户安装手册
ftp://ftp.software.ibm.com/systems/support/bladecenter/rssmiug.pdf
6 RSSM 远程安装手册
ftp://ftp.software.ibm.com/systems/support/system_x/ibm_fw_bcsw_s0cl-1.0.0
.000_remote_boot_1.20.pdf
7 刀片兼容性手册
ftp://ftp.software.ibm.com/systems/support/system_x_pdf/bladecenter_interop
erability_guide_2009_week_10.pdf
24
8 RSSM 兼容性手册
ftp://ftp.software.ibm.com/systems/support/system_x_pdf/ibm_fw_bcsw_s0cl-i
nteroperability_1.4.pdf
7 SCM 下载连接
http://www-947.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid
=MIGR-5078617&brandind=5000016
8 SNA(Start Now Advisor)下载连接
http://www-947.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid
=MIGR-5076842&brandind=5000020
9 IBM BladeCenter Integrated Manager 下载
http://www.alphaworks.ibm.com/tech/bib
25
Loading...