Dell PowerEdge VRTX User Manual [ko]
Dell PowerEdge VRTX 시스템용 Dell Shared
PowerEdge RAID Controller 8
사용자 설명서
카드
규정 모델: UCPM-800
참고, 주의 및 경고
노트: "참고"는 제품을 보다 효율적으로 사용하는 데 도움이 되는 중요 정보를 제공합니다.
주의: "주의"는 하드웨어 손상이나 데이터 손실의 가능성을 설명하며, 이러한 문제를 방지할 수 있는 방법을 알려줍니다.
경고: "경고"는 재산상의 피해나 심각한 부상 또는 사망을 유발할 수 있는 위험이 있음을 알려줍니다.
© 2017 - 2018 Dell Inc. 또는 자회사. 저작권 본사 소유. Dell, EMC 및 기타 상표는 Dell Inc. 또는 자회사의 상표입니다. 기타 상표는 각 소유자의 상표일
수 있습니다.
2018 - 02
개정 A07
목차
1 Shared PERC 8 카드 정보.............................................................................................................................. 7
Shared PERC 8 카드의 구성............................................................................................................................................8
Shared PERC 8 카드 사양................................................................................................................................................9
Shared PERC 8 카드 작동 온도...............................................................................................................................10
지원되는 운영 체제.........................................................................................................................................................10
Shared PERC 8 모범 사례...............................................................................................................................................11
문서 매트릭스...................................................................................................................................................................11
2 Shared PERC 8 카드 기능............................................................................................................................ 13
실제 디스크 전원 관리....................................................................................................................................................13
일관성 검사...................................................................................................................................................................... 13
가상 디스크 초기화.........................................................................................................................................................14
가상 디스크의 백그라운드 초기화.........................................................................................................................14
가상 디스크의 전체 초기화..................................................................................................................................... 14
가상 디스크의 고속 초기화..................................................................................................................................... 14
물리 디스크 로밍.............................................................................................................................................................15
물리 디스크 로밍 사용............................................................................................................................................. 15
FastPath............................................................................................................................................................................ 15
가상 디스크 마이그레이션............................................................................................................................................ 15
대상 시스템의 전원이 꺼진 경우 가상 디스크 마이그레이션...........................................................................16
대상 시스템의 전원이 켜진 경우 가상 디스크 마이그레이션...........................................................................16
가상 디스크 캐시 정책................................................................................................................................................... 16
가상 디스크 쓰기 캐시 정책.................................................................................................................................... 17
후기입 .........................................................................................................................................................................17
후기입 방식을 사용하기 위한 조건........................................................................................................................17
배터리 없이 강제 후기입 방식을 사용하기 위한 조건....................................................................................... 17
Write-Through(연속 기입)........................................................................................................................................ 17
연속 기입 방식을 사용하기 위한 조건.................................................................................................................. 18
가상 디스크 읽기 캐시정책..................................................................................................................................... 18
물리 디스크 쓰기 캐시 정책.......................................................................................................................................... 18
내결함성............................................................................................................................................................................18
SMART 기능............................................................................................................................................................... 19
멤버 자동 교체........................................................................................................................................................... 19
순회 읽기.................................................................................................................................................................... 19
물리 디스크 오류 감지.............................................................................................................................................20
물리 디스크 핫 스와핑.............................................................................................................................................20
Shared PERC 8 카드 캐시 보존..............................................................................................................................20
배터리 트랜스패런트 런 주기................................................................................................................................. 21
컨트롤러 장애 조치 기능......................................................................................................................................... 21
다중 경로 지원................................................................................................................................................................. 21
3 Shared PERC 8 카드 배포............................................................................................................................22
목차 3
안전 지침..........................................................................................................................................................................22
새 Shared PERC 8 내장 카드 설치...............................................................................................................................22
Shared PERC 8 내장 카드 교체.................................................................................................................................... 22
Shared PERC 8 내장 카드 분리를 위한 전제조건...............................................................................................23
Shared PERC 8 내장 카드 분리.............................................................................................................................. 23
Shared PERC 8 내장 카드 설치.............................................................................................................................. 24
Shared PERC 8 내장 카드 설치 후 작업............................................................................................................... 25
새 Shared PERC 8 외장 카드 설치...............................................................................................................................25
Shared PERC 8 외장 카드 교체....................................................................................................................................25
Shared PERC 8 외장 카드 분리를 위한 전제조건...............................................................................................26
Shared PERC 8 외장 카드 분리.............................................................................................................................. 27
Shared PERC 8 외장 카드 설치.............................................................................................................................. 28
Shared PERC 8 외장 카드 설치 후 작업................................................................................................................33
시나리오 전환을 위한 전제조건.................................................................................................................................. 34
시나리오 전환................................................................................................................................................................. 34
단일 컨트롤러 비 내결함성에서 이중 컨트롤러 내결함성으로 전환............................................................. 34
2개의 기존 비 내결함성 컨트롤러에서 내결함성 구성으로.............................................................................35
4 펌웨어 및 드라이버 설치..............................................................................................................................36
Dell 지원 웹 사이트에서 모든 운영 체제에 사용할 수 있는 Shared PERC 8용 드라이버 및 펌웨어 다운
로드................................................................................................................................................................................... 36
Windows용 Dell Systems Service and Diagnostic Tools 매체에서 드라이버 다운로드........................................ 37
Shared PERC 8용 Windows 드라이버 설치 또는 업데이트.....................................................................................37
Shared PERC 8용 Linux 드라이버 설치 또는 업데이트............................................................................................38
KMOD 지원을 사용하여 RHEL에서 드라이버 패키지 설치 또는 업데이트...................................................38
KMP 지원을 사용하여 SLES에서 드라이버 패키지 설치 또는 업데이트.......................................................38
Shared PERC 8용 VMware 드라이버 설치 또는 업데이트...................................................................................... 39
펌웨어 설치 또는 업데이트.......................................................................................................................................... 39
펌웨어 업데이트....................................................................................................................................................... 39
5 다중 경로 및 클러스터링 설정..................................................................................................................... 40
Windows의 다중 경로 지원 구성..................................................................................................................................40
Windows에서 다중 경로 설정.......................................................................................................................................40
Windows에서 클러스터링 설정...............................................................................................................................41
VMWare의 다중 경로 지원 구성................................................................................................................................... 41
VMware에서 다중 경로 및 클러스터링 설정..............................................................................................................41
Linux의 다중 경로 및 클러스터링 지원.......................................................................................................................42
Linux에서 다중 경로 설치........................................................................................................................................42
SLES의 다중 경로 구성............................................................................................................................................42
RHEL의 다중 경로 구성........................................................................................................................................... 43
Linux 다중 경로 구성 다중 경로 파일....................................................................................................................44
Linux에서 클러스터링 설정.....................................................................................................................................48
Linux 환경에서 다중 경로 설정을 위한 일반적인 권장사항............................................................................. 48
6 Shared PERC 8 카드용 관리 응용프로그램................................................................................................. 50
4 목차
7 보안 키와 RAID 관리.....................................................................................................................................51
보안 키 구현..................................................................................................................................................................... 51
SED 지원 하드 드라이브 구성 및 관리.................................................................................................................. 51
보안 키 오류 문제 해결..................................................................................................................................................52
보안 외부 가져오기 오류.........................................................................................................................................52
비 자체 암호화 디스크 선택 또는 구성 오류....................................................................................................... 52
보안 키 삭제 오류..................................................................................................................................................... 52
물리 디스크의 암호화 삭제 작업 오류..................................................................................................................52
8 문제 해결.....................................................................................................................................................53
일반 문제..........................................................................................................................................................................53
장치 관리자에 Shared PERC 8 카드가 표시되지 않음...................................................................................... 53
치명적 오류 또는 디스크 경고 메시지가 Windows 이벤트 로그에 표시됨....................................................53
Shared PERC 8 카드에 작동 오류 발생.................................................................................................................54
치명적 오류 또는 데이터 손상이 보고됨............................................................................................................. 54
EMM 펌웨어 업데이트 후 표시되는 EMM 오류 메시지....................................................................................54
EMM 펌웨어 업데이트 후 변칙 드라이브 LED 작동 ......................................................................................... 54
후기입 캐시 모드와 연속 기입 캐시 모드의 성능 차이..................................................................................... 54
물리 디스크 문제............................................................................................................................................................55
물리 디스크가 오류 상태에 있음...........................................................................................................................55
Blank로 표시되는 드라이브 가능 속도................................................................................................................. 55
실제 디스크가 관리 응용프로그램에서 차단된 것으로 표시됨.......................................................................55
여러 디스크에 액세스할 수 없음...........................................................................................................................55
오류 상태의 물리 디스크 재구축...........................................................................................................................56
외부 구성 가져오기에 앞서 CMC의 외부 구성 미리 보기의 전역 핫 스페어로 표시되는 외부 전용
핫스페어.....................................................................................................................................................................56
물리 디스크 재구축에 장시간이 소요됨.............................................................................................................. 56
SMART 오류.............................................................................................................................................................. 56
멤버 자동 교체 오류................................................................................................................................................. 57
가상 디스크 문제............................................................................................................................................................ 58
가상 디스크의 성능 저하 상태............................................................................................................................... 58
내결함성 가상 디스크를 재구축할 수 없음......................................................................................................... 58
전역 핫 스페어를 사용하여 재구축하는 중 가상 디스크에 오류 발생........................................................... 58
전용 핫 스페어를 사용하여 재구축하는 중 가상 디스크에 오류 발생........................................................... 58
재구축 중에 가상 디스크를 디스크 그룹에 추가할 수 없음.............................................................................58
드라이버 문제................................................................................................................................................................. 59
장치 관리자에서 Shared PERC 8 카드에 노란색 느낌표가 표시됨................................................................ 59
Windows 디스크 관리자에 정확하지 않은 가상 디스크의 수가 표시됨.........................................................59
컨트롤러 문제................................................................................................................................................................. 59
컨트롤러 캐시 문제..................................................................................................................................................59
Shared PERC 8 카드 안전 모드로 부팅................................................................................................................ 60
하드 드라이브 표시등 코드........................................................................................................................................... 61
9 도움말 얻기................................................................................................................................................. 63
Dell EMC에 문의하기..................................................................................................................................................... 63
목차 5
시스템의 서비스 태그 찾기.......................................................................................................................................... 63
6 목차
1
Shared PERC 8 카드 정보
노트: 달리 언급되지 않은 경우, 문서 전반에 걸쳐 Shared PERC 8에 대한 모든 참조 자료는 내장 및 외장 Shared PERC 8 카드를
모두 참조합니다.
Dell Shared PowerEdge RAID Controller(PERC) 8 카드는 PowerEdge VRTX 시스템을 위해 특별히 설계된 스토리지 컨트롤러입니다.
Shared PERC 8 카드는 사용 가능한 하드웨어 리소스를 여러 시스템에서 공유할 수 있는 단일 루트 입출력 가상화(SR-IOV)를 지원합
니다.
컨트롤러를 통해 4개의 서버 모듈에서 로컬 스토리지에 액세스할 수 있습니다. 각 서버 모듈의 운영 체제(OS)는 서버 모듈이 Shared
PERC 8 펌웨어와 통신할 수 있도록 가상 기능(VF) 드라이버를 로드합니다. 그리고 나면 공유 스토리지에 있는 가상 디스크를 서버 모
듈에 매핑할 수 있습니다. 단일 서버 모듈에서는 해당 서버 모듈에 매핑된 가상 디스크에만 액세스할 수 있습니다. 스토리지 도메인은
Shared PERC 8 내장 및 외장 카드에서 독립적입니다. 즉, 내장 카드는 외장 카드에 연결된 디스크에 액세스할 수 없으며, 그 반대의 경
우에도 액세스할 수 없습니다. 그러나 펌웨어가 같기만 하면 Shared PERC 8 내장 카드에서 외장 카드로 디스크 마이그레이션이 가능
합니다.
• Shared PERC 8 내장 카드는 VRTX 섀시의 내부 스토리지 인클로저를 제어합니다. Shared PERC 8 내장 카드는 PERC1 및 PERC2
레이블이 지정된 PERC 슬롯에 연결되어 있습니다.
그림 1 . Shared PERC 8 내장 카드의 기능
1 Shared PERC 내장 카드 2 방열판
3 배터리 케이블 4 배터리
• Shared PERC 8 외장 카드는 서버 모듈에서 최대 2개의 외부 JBOD에 액세스할 수 있도록 허용하여 스토리지 용량을 확장합니다.
Shared PERC 8 외장 카드는 VRTX 시스템의 PCIe 슬롯 5 및 6을 통해 연결됩니다. Shared PERC 8 외장 카드는 MD1200 또는
MD1220 JBOD를 지원합니다.
Shared PERC 8 카드 정보 7
그림 2 . Shared PERC 8 내장 카드 기능
1 외부 케이블 커넥터 2 Shared PERC 외장 카드
3 방열판 4 배터리 케이블
5 배터리
주제:
• Shared PERC 8 카드의 구성
• Shared PERC 8 카드 사양
• 지원되는 운영 체제
• Shared PERC 8 모범 사례
• 문서 매트릭스
Shared PERC 8 카드의 구성
Shared PERC 8 내장 및 외장 카드는 2개의 각기 다른 SAS 도메인입니다. PowerEdge VRTX 시스템은 내장 및 외장 카드에 대한 다음과
같은 구성에서 사용할 수 있습니다.
단일 비 내결함성 Shared PERC 8 카드 구성 - 이 구성에서는 컨트롤러가 캐시를 미러링하지 않습니다. 이 구성으로 생성된 가상 디스
크의 기본 캐시 정책은 후기입입니다. 이 모드에서는 쓰기 완료 정보는 데이터가 Shared PERC 8 컨트롤러의 캐시에 기입된 후 호스트
로 반환됩니다.
이중 내결함성 Shared PERC 8 카드 구성 - 이 구성에서는 활성-수동 클러스터에서 구성된 2개의 Shared PERC 8 카드가 있습니다. 두
컨트롤러 모두 동일한 스토리지 하위 시스템에 액세스할 수 있습니다. 그러나 활성 컨트롤러만 데이터 액세스 권한을 제공합니다.
Shared PERC 8 카드 하나에 장애가 발생하면 다른 Shared PERC 8 카드가 원활한 전환을 대신합니다. 이 구성으로 생성된 가상 디스
크의 기본 캐시 정책은 후기입입니다.
노트: Shared PERC 8 외장 컨트롤러의 경우 내결함성 옵션을 사용자가 설정해야 하며 필수 케이블링 토폴로지를 사용해야 합니
다.
다음 구성은 외장 카드에서만 사용할 수 있습니다.
이중 비 내결함성 Shared PERC 8 외장 카드 구성 - 이 구성에서는 PowerEdge VRTX 시스템은 별도의 JBOD에 케이블로 연결되어 개
별적인 SAS 도메인을 생성하는 2개의 Shared PERC 8 외장 카드를 포함합니다. 하나의 Shared PERC 8 외장 카드에 오류가 발생하면
8 Shared PERC 8 카드 정보
해당 카드에 연결된 스토리지 하위 시스템에 액세스할 수 없습니다. 이 구성 옵션은 Shared PERC 8 내장 카드에서 사용할 수 없습니
다.
Shared PERC 8 카드 사양
Shared PERC 8 카드의 특성은 다음과 같습니다.
표 1. Shared PERC 8 카드 사양
사양 설명
지원되는 드라이브 Dell 공인 SAS 하드 드라이브, SAS 솔리드 스테이트 드라이브(SSD), 자체 암호화
디스크(SED) 드라이브
동일한 드라이브 유형(SAS) 및 기술(HDD 또는 SSD)을 유지하면서 서로 다른 속도
(7,200rpm, 10,000rpm 또는 15,000rpm)와 대역폭(6Gbps 또는 이상)의 디스크를 혼
합하여 사용할 수 있습니다.
노트: 지원 대역폭이 6Gbps보다 높은 드라이버가 지원되기는 하지만, 드라
이버가 최고 속도 6Gbps에서만 실행됩니다.
노트: 가상 디스크 내에서 HDD와 SSD를 혼합하여 사용할 수는 없습니다.
SATA 드라이브는 지원되지 않습니다.
RAID 레벨 0, 1, 5, 6, 10, 50 및 60
노트: 비RAID 드라이브는 지원되지 않습니다.
가상 함수 최대 4개의 호스트 서버를 지원하는 4개의 가상 함수
관리 응용프로그램 Dell Chassis Management Controller(CMC).
노트: 옵션 ROM(OP-ROM)이 지원되지 않습니다. 공유 스토리지에서의 부
팅은 지원되지 않습니다. 서버 모듈에 있는 스토리지에서만 부팅할 수 있습
니다.
외부 도메인당 인클로저 2
프로세서 LSI 2208 칩셋이 포함된 Dell Adapter SAS RAID-on-Chip, 8 포트
배터리 백업 장치 예
비휘발성 캐시 예
캐시 메모리 1 GB DDR3, 1333 MHz
캐시 정책 후기입, 강제 후기입, 연속 기입, 적응성 있는 미리 읽기, 미리 읽기 없음, 미리 읽기
노트: 듀얼 컨트롤러 구성에서 후기입 캐싱은 펌웨어 23.8.10-0061 및 이전
버전에서 지원되지 않습니다. Shared PERC 8 카드에서 후기입 기능이 지원
되도록 하려면 Dell.com/support/home에서 업데이트된 펌웨어 및 드라이버
버전을 다운로드하십시오.
디스크 그룹당 최대 스팬 수 8
디스크 그룹당 최대 가상 디스크 수 16
노트: 자세한 내용은 Dell.com/support/home의
리지 하위 시스템 호환성 매트릭스
를 참조하십시오.
Dell PowerEdge VRTX 스토
가상 디스크 최대 수 64
전용 및 전역 핫 스페어 예
핫 스왑 가능 장치가 지원됨 예
Shared PERC 8 카드 정보 9
사양 설명
하드웨어 XOR 엔진 예
가상 디스크 초기화(백그라운드, 전체, 고속) 예
일관성 검사 예
디스크 로밍 예
FastPath 예
2개의 Shared PERC 8 카드 간에 가상 디스크 마
이그레이션
PERC H310, H710 또는 H710P 카드에서 Shared
PERC 8 카드로 가상 디스크 마이그레이션
SMART 감지 예
순회 읽기 예
멤버 자동 교체 예
SAS(HDD/SSD) 하드 드라이브 예
실제 디스크 전원 관리 규격 HDD 전용 IDLE-C. 균형 조정, 최대 및 사용자 정의 절전 기능은 지원되지 않습
SATA(HDD/SSD) 하드 드라이브 아니오
멤버 수동 교체 아니오
온라인 용량 확장 아니오
Cachecade 아니오
로컬 키 관리(LKM) 예
컨트롤러의 PCIe 핫 플러그 Shared PERC 8 외장 카드가 있는 경우에만 PCIe Hot Add가 지원됨
다중 경로 지원 내결함성 Shared PERC 8 카드 구성 시스템에 필요
예
노트: 대상 Shared PERC 8 카드의 펌웨어 수준은 소스 Shared PERC 8 카드
의 펌웨어 수준보다 높거나 같아야 합니다.
아니오
니다.
컨트롤러 장애 복구 내결함성 Shared PERC 8 카드 구성 시스템에서 사용 가능
Shared PERC 8 카드 작동 온도
표 2. 작동 온도 사양
사양 작동 온도
최대 주변 60°C
최대 배터리 작동 온도 60°C
최대 컨트롤러(ROC) 작동 온도 115°C
지원되는 운영 체제
Shared PERC 8 카드는 다음과 같은 운영 체제를 지원합니다.
• Microsoft Windows Server 2012 R2
10 Shared PERC 8 카드 정보
• Microsoft Windows Server 2012
• Microsoft Windows Server 2008 R2
• Red Hat Enterprise Linux(RHEL) 6 Update 5
• RHEL 6 Update 6
• RHEL 6 Update 7
• RHEL 7.1
• SUSE Enterprise Linux(SLES) 11 SP4
• SLES 11 SP3
• SLES 12
• VMware ESXi 5.5
• VMware ESXi 6.0 이상
노트: PowerEdge VRTX 시스템에 지원되는 소프트웨어 및 하드웨어에 대한 내용은 Dell.com/support/manuals에서
PowerEdge VRTX 스토리지 하위 시스템 호환성 매트릭스
를 참조하십시오.
Shared PERC 8 모범 사례
• 항상 Dell.com/support/drivers에 있는 최신 펌웨어 및 드라이버를 사용하십시오.
• 가상 디스크 구성 및 서버 노드 매핑 정보의 사본을 항상 보관하십시오. 가상 드라이브 구성 및 매핑 정보를 문서화하려면 다음 단
계를
수행하십시오.
a CLI 터미널을 열고 racadm raid get vdisks –o 명령을 실행합니다. 결과 페이지의 스크린 샷을 찍어 캡처한 스크린 샷을 선택한
위치에 저장하거나 해당 정보를 기록하여 안전한 곳에 보관합니다.
b Chassis Overview(섀시 개요) → Storage(스토리지) → Virtual Disks(가상 디스크) → Assign(할당)을 클릭하여 CMC GUI를
통해 가상 디스크 매핑을 확인합니다. 결과 페이지의 스크린 샷을 찍어 캡처한 스크린 샷을 선택한 위치에 저장하거나 해당
정보를 기록하여 안전한 곳에 보관합니다.
c Chassis Overview(섀시 개요) → Storage(스토리지) → Virtual Disks(가상 디스크)를 클릭하여 CMC GUI를 통해 가상 디스크
구성 정보를 가져옵니다. 결과 페이지의 스크린 샷을 찍어 캡처한 스크린 샷을 선택한 위치에 저장하거나 해당 정보를 기록
하여 안전한 곳에 보관합니다.
문서 매트릭스
문서 매트릭스는 사용자의 시스템을 설정하고 관리하기 위해 확인할 수 있는 문서에 대한 정보를 제공합니다.
표 3. 문서 매트릭스
목적 참조 목록:
시스템 설치 및 시스템 기술 사양 확인 시스템과 함께 제공되거나 Dell.com/poweredgemanuals에 있는
Dell PowerEdge VRTX
Dell PowerEdge VRTX 스토리지 하위 시스템의 구성요소에 대한
최소 드라이버 및 펌웨어 요구사항을 파악하십시오.
시스템을 설정 및 구성 플레이스매트 설정
서버 모듈의 기능 파악, 서버 모듈의 구성요소를 제거 및 설치, 서
버 모듈 구성요소 문제 해결
VRTX 섀시에서 사용할 M1000e 서버 모듈 업데이트 PowerEdge M1000e 및 PowerEdge VRTX 섀시 간
랙에 시스템 설치 랙 솔루션과 함께 제공되는 랙 설명서
I/O 모듈 기능에 대한 이해, I/O 모듈 및 추가 I/O 모듈 정보 구성 I/O 모듈 설명서(Dell.com/poweredgemanuals)
Dell PowerEdge VRTX
(Dell.com/poweredgemanuals)
Dell PowerEdge VRTX
poweredgemanuals)
위해
Dell PowerEdge Blade Servers 준비(Dell.com/
poweredgemanuals)
시스템 시작하기
스토리지 하위 시스템 호환성 매트릭스
인클로저 소유자 매뉴얼
(Dell.com/
마이그레이션을
Shared PERC 8 카드 정보 11
목적 참조 목록:
CMC(Chassis Management Controller) 설치, 구성 및 사용 Dell PowerEdge VRTX용 Dell Chassis Management Controller 사용
설명서(Dell.com/poweredgemanuals)
펌웨어와 시스템 구성요소를 모니터링하는 에이전트에 의해 생
성되는 오류와 이벤트 메시지 확인
CMC 웹 인터페이스에서 현재 페이지에 대한 지침 참조 CMC
iDRAC 구성 및 로그인, 관리 대상 및 관리 시스템 설정, iDRAC 기
능 파악 및 iDRAC를 사용한 문제 해결
Dell Systems Management 제안서 개요 보기 Dell OpenManage Systems Management 개요 안내서(Dell.com/
스토리지 컨트롤러 카드의 기능 파악, 카드 배포, 스토리지 하위
시스템 관리
OpenManage Server Administrator 설치, 사용 및 문제 해결 Dell OpenManage Server Administrator 사용 설명서(Dell.com/
OpenManage Essentials 설치, 사용 및 문제 해결 Dell OpenManage Essentials 사용 설명서(Dell.com/
RACADM 하위 명령과 지원되는 RACADM 인터페이스에 대해 파악iDRAC 및 CMC를 위한 RACADM 명령줄 참조 안내서(Dell.com/
Lifecycle Controller Remote Services 사용 Dell Lifecycle Controller Remote Services 빠른 시작 안내서
Lifecycle Controller 시작, 활성화 및 비활성화, 기능 파악, Lifecycle
Controller 사용 및 문제 해결
Dell PowerEdge VRTX Chassis Management Controller
벤트 메시지 참조 안내서
온라인 도움말. 온라인 도움말
터페이스에서 도움말을 클릭하십시오.
Integrated Dell Remote Access Controller 사용 설명서(Dell.com/
idracmanuals)
openmanagemanuals > OpenManage software)
스토리지 컨트롤러 설명서(Dell.com/storagecontrollermanuals)
openmanagemanuals > OpenManage Server Administrator)
openmanagemanuals)
idracmanuals)
(Dell.com/idracmanuals)
Dell Lifecycle Controller 사용 설명서(Dell.com/esmmanuals)
(Dell.com/poweredgemanuals)
에 액세스하려면 CMC 웹 인
펌웨어 이
공유 스토리지 확장 지원을 위해 PowerEdge VRTX 업그레이드 Dell.com/poweredgemanuals에서 공유 스토리지 확장 지원을 위
해 PowerEdge VRTX 업그레이드
노트: 새로운 업데이트가 없는지 Dell.com/support/manuals에서 항상 확인하십시오. 업데이트에는 최신 정보가 수록되어 있으므
로 다른 문서를 읽기 전에 반드시 먼저 참조하시기 바랍니다.
12 Shared PERC 8 카드 정보
Shared PERC 8 카드의 몇 가지 기능은 다음과 같습니다.
• 실제 디스크 전원 관리
• 일관성 검사
• 가상 디스크 초기화
• 디스크 로밍
• FastPath
• 가상 디스크 마이그레이션
• 가상 디스크 캐시 정책
• 내결함성
• 순회 읽기
• 다중 경로 지원
• 컨트롤러 레벨 암호화 지원
주제:
2
Shared PERC 8 카드 기능
• 실제 디스크 전원 관리
• 일관성 검사
• 가상 디스크 초기화
• 물리 디스크 로밍
• FastPath
• 가상 디스크 마이그레이션
• 가상 디스크 캐시 정책
• 물리 디스크 쓰기 캐시 정책
• 내결함성
• 다중 경로 지원
실제 디스크 전원 관리
실제 디스크 전원 관리는 Shared PERC 8 카드의 전원 절약 기능입니다. T10 기관의 정의에 따라, 실제 디스크 전원 관리를 위해 IDLEC 기능이 자동으로 활성화됩니다. IDLE-C 기능을 지원하는 실제 디스크는 I/O 활동이 없을 때 타이머가 만료되면 낮은 RPM에서 스핀
합니다.
노트: 구성된 디스크가 스핀 업될 때 I/O 작업이 지연됩니다.
노트: 전원 관리에 대한 자세한 내용은 Dell.com/poweredgemanuals의
Controller 사용 설명서
를 참조하십시오.
Dell PowerEdge VRTX용 Dell Chassis Management
일관성 검사
일관성 검사(CC)는 내결함성 가상 디스크의 미러 또는 패리티 데이터를 확인하고 수정하는 백그라운드 작업입니다. 가상 디스크에서
일관성 검사를 정기적으로 수행하는 것이 좋습니다. Dell Chassis Management Controller(CMC)에서 수동으로 CC를 시작할 수 있습니
다.
Shared PERC 8 카드 기능 13
노트: 일관성 검사에 대한 자세한 내용은
십시오.
Dell PowerEdge VRTX용 Dell Chassis Management Controller 온라인 도움말
을 참조하
가상 디스크 초기화
다음 절에 설명된 대로 가상 디스크를 초기화할 수 있습니다.
가상 디스크의 백그라운드 초기화
일관성 검사(CC)와 BGI(백그라운드 초기화)는 둘 다 패리티 오류를 수정합니다. 하지만 CC는 이벤트 알림을 통해 데이터 불일치를
보고하는 반면 BGI는 자동 프로세스입니다.
BGI는 RAID 0 가상 디스크에서 실행되지 않으며 영구적으로 비활성화할 수 없습니다. BGI를 취소하는 경우 5분 내에 자동으로 다시
시작됩니다. 가상 디스크의 전체 또는 고속 초기화와는 달리 BGI는 물리 디스크에서 데이터를 지우지 않습니다. 일반적으로 CC 및
BGI로 인해 작업이 완료될 때까지 성능이 다소 떨어집니다.
노트: 내결함성 Shared PERC 8 카드 구성을 사용하는 시스템에서 컨트롤러 장애 조치가 발생하는 경우 각 가상 디스크에서 BGI
가 자동으로 시작됩니다. 컨트롤러 장애 조치 중에 BGI 작업이 진행 중일 경우에는 마지막으로 기록된 체크포인트부터 활성상태
인 새 Shared PERC 8 컨트롤러에서 BGI가 재개됩니다.
가상 디스크의 전체 초기화
주의: 가상 디스크의 전체 초기화를 수행하면 이전에 가상 디스크에 존재하던 모든 데이터가 삭제됩니다.
가상 디스크의 전체 초기화를 수행하면 모든 블록을 덮어쓰고 이전에 가상 디스크에 있던 데이터가 삭제됩니다. 가상 디스크의 전체
초기화에서는 가상 디스크에서 BGI를 수행할 필요가 없습니다. 주로 전체 초기화는 가상 디스크가 생성된 직후에 수행됩니다.
전체 초기화가 수행되는 동안에는 호스트가 가상 디스크에 액세스할 수 없습니다. CMC에서 가상 디스크의 전체 초기화를 시작할 수
있습니다.
내결함성 Shared PERC 8 카드 구성을 사용하는 시스템에서 컨트롤러 장애 조치가 발생하는 경우 전체 초기화가 활성상태 컨트롤러
에서 계속 진행되지 않습니다. CMC를 통해 전체 초기화를 다시 시작해야 합니다. 가상 디스크 초기화에 대한 자세한 정보는
Dell.com/poweredgemanuals의 Dell PowerEdge VRTX용 Dell Chassis Management Controller 사용
Dell Chassis Management Controller
전체 초기화가 진행되는 동안 컨트롤러 장애 조치 또는 시스템 재부팅이 발생하면 작업이 종료되고 가상 디스크에서 BGI가 시작됩니
다.
노트: 전체 초기화를 수행하면 가상 디스크에서 BGI가 자동으로 시작되지 않습니다.
온라인 도움말
을 참조하십시오.
설명서
및 Dell PowerEdge VRTX
용
가상 디스크의 고속 초기화
주의: 가상 디스크의 고속 초기화를 수행하면 이전에 가상 디스크에 존재하던 모든 데이터가 삭제됩니다.
가상 디스크의 고속 초기화는 가상 디스크의 처음과 마지막 8MB를 덮어쓰므로 모든 부팅 레코드 또는 파티션 정보가 지워집니다. 이
작업은 완료하는 데 2-3분 정도 소요되며 가상 디스크를 다시 생성할 때 수행하는 것이 좋습니다. CMC에서 고속 초기화를 수행할 수
있습니다.
노트: 고속 초기화가 완료되고 5분 후에 BGI가 시작됩니다.
14 Shared PERC 8 카드 기능
물리 디스크 로밍
실제 디스크 로밍을 수행하면 동일한 컨트롤러에서 후면판 슬롯 간에 실제 디스크를 이동합니다. 컨트롤러가 재배치된 실제 디스크
를 자동으로 인식하고 디스크 그룹에 속하는 가상 디스크에 논리적으로 배치합니다. 시스템이 꺼져 있는 경우에만 디스크 로밍을 수
행할 수 있습니다.
노트: 디스크(JBOD) 인클로저 전체 더미를 이동하는 경우 새 컨트롤러에 케이블로 연결하기 전에 JBOD를 꺼야 합니다.
물리 디스크 로밍 사용
디스크 로밍을 사용하려면 다음 단계를 수행하십시오.
1 시스템, 물리 디스크, 인클로저 및 시스템 구성요소의 전원을 끕니다.
2 시스템에서 전원 케이블을 분리합니다.
3 후면판 또는 인클로저에서 원하는 위치로 물리 디스크를 이동합니다.
4 안전 검사를 수행합니다. 물리 디스크가 올바르게 삽입되어 있는지 확인하십시오.
5 시스템을 켭니다.
컨트롤러가 물리 디스크의 구성 데이터로부터 RAID 구성을 감지합니다.
FastPath
Shared PERC 8 카드는 높은 초당 I/O(IOPS)를 제공하여 애플리케이션 성능을 개선하는 FastPath 기능을 지원합니다.
FastPath의 경우 특정 조건에서는 I/O가 컨트롤러 캐시를 우회하고 호스트 메모리에서 물리 디스크에 직접 또는 물리 디스크에서 직
접 전달됩니다. 연속 기입 쓰기 캐시 정책과 사전 판독 없음 읽기 캐시 정책으로 구성된 모든 간단한 비 스팬 가상 디스크는 FastPath
를 활용할 수 있습니다.
SSD 볼륨의 워크로드는 FastPath 기능으로 향상된 성능을 제공합니다.
FastPath를 지원하는 조건은 다음과 같습니다.
• 블록 크기가 작은 임의의 워크로드.
• 가상 디스크의 스트라이프 크기보다 작은 I/O 블록 크기.
• 스팬 해제된 RAID 볼륨(RAID 0, RAID 1, RAID 5 및 RAID 6)의 순차 읽기 워크로드.
• RAID 0 가상 디스크의 순차 읽기 및 쓰기 워크로드.
FastPath를 지원하지 않는 조건은 다음과 같습니다.
• 재구축, 초기화와 같은 배경 작업을 실행하는 가상 디스크
• 스팬된 RAID 볼륨(예: RAID 10, RAID 50 및 RAID 60).
가상 디스크 마이그레이션
Shared PERC 8 카드는 대상 컨트롤러를 오프라인 상태로 만들지 않고도 가상 디스크의 컨트롤러 간 마이그레이션을 지원합니다. 컨
트롤러는 최적, 성능 저하, 부분적 성능 저하 상태에서 RAID 가상 디스크를 가져올 수 있습니다. Shared PERC 내부에서 Shared PERC
외부로 가상 디스크의 마이그레이션이 지원됩니다.
다음과 같은 경우에는 Shared PERC 8 카드가 가상 디스크의 마이그레이션을 지원하지 않습니다.
• 가상 디스크가 오류 상태일 경우.
• 소스 시스템의 전원이 켜져 있는 동안 가상 디스크가 분리되는 경우.
Shared PERC 8 카드 기능 15
• PERC H310, H700, H710, H800 및 H810 등과 같은 다른 PERC 카드에서 마이그레이션하는 경우.
다음과 같은 경우에 Shared PERC 8 카드가 가상 디스크의 마이그레이션을 지원합니다.
• 유사한 Shared PERC 8 카드에서 마이그레이션하는 경우.
• 단일 Shared PERC 8 카드 구성에서 내결함성 Shared PERC 8 카드 구성으로의 마이그레이션을
구형 펌웨어 버전 시스템으로의 마이그레이션은 지원하지 않습니다.
• 대상 시스템이 켜져 있거나 꺼져 있을 때 다른 시스템의 Shared PERC 8 컨트롤러에서 마이그레이션하는 경우.
노트: 컨트롤러가 기존 구성이 있는 실제 디스크를 감지하는 경우, 실제 디스크가 외부 디스크로 플래그되고 외부 디스크가 감지
되었음을 나타내는 경고가 생성됩니다.
지원하지만
신형 펌웨어 버전에서
대상 시스템의 전원이 꺼진 경우 가상 디스크 마이그레이션
1 전면 베젤이 설치되어 있는 경우 PowerEdge VRTX 인클로저에서 전면 베젤을 분리합니다(선택사항).
2 운영 체제 명령 또는 CMC를 사용하여 서버 모듈의 전원을 끄고 서버 모듈의 전원이 꺼져 있는지 확인합니다.
3 CMC를 사용하여 섀시의 전원을 끕니다.
노트: 섀시에 종료 대한 자세한 내용은 Dell.com/esmmanuals의
Controller 사용 설명서
4 유사한 Shared PERC 8 컨트롤러를 사용하여 해당 실제 디스크를 소스 시스템에서 대상 시스템으로 이동합니다.
노트: 디스크(JBOD) 인클로저 전체 더미를 이동하는 경우 새 컨트롤러에 케이블로 연결하기 전에 JBOD를 꺼야 합니다.
5 대상 시스템을 켭니다.
시스템이 외부 구성을 검색하여 자동으로 가져옵니다.
를 참조하십시오.
Dell PowerEdge VRTX용 Dell Chassis Management
대상 시스템의 전원이 켜진 경우 가상 디스크 마이그레이션
1 소스 시스템을 끕니다.
2 유사한 Shared PERC 8 카드를 사용하여 해당 물리 디스크를 소스 시스템에서 대상 시스템으로 이동합니다.
노트: 전체 JBOD 인클로저를 이동하는 경우 새 컨트롤러에 케이블로 연결하기 전에 JBOD를 꺼야 합니다.
3 Dell Chassis Management Controller(CMC)에 액세스하여 외부 구성을 가져오고 지웁니다.
노트: 외부 구성 가져오기 또는 삭제에 대한 자세한 내용은 Dell.com/poweredgemanuals에서
Chassis Management Controller 사용 설명서
노트: 이러한 가상 디스크에 쓰기 캐시가 활성화되어 있는 경우, 소스 시스템에 있는 하드 드라이브에 모든 캐시를 플러시한
후에 제거해야 합니다. 모든 응용프로그램을 중지하고, 블레이드의 전원을 끈 다음, 30초 동안 기다린 후에 섀시의 전원을
끄십시오.
를 참조하십시오.
Dell PowerEdge VRTX용 Dell
가상 디스크 캐시 정책
다음과 같은 가상 디스크 캐시 정책이 Shared PERC 8에서 지원됩니다.
• 가상 디스크 쓰기 캐시 정책
• 가상 디스크 읽기 캐시정책
16 Shared PERC 8 카드 기능
가상 디스크 쓰기 캐시 정책
가상 디스크의 쓰기 캐시 정책에 따라 컨트롤러에서 가상 디스크에 대한 쓰기를 처리하는 방법이 결정됩니다. 가상 디스크에 개별적
으로 설정할 수 있는 두 가지 쓰기 캐시 정책은 후기입 및 연속기입입니다.
가상 디스크의 실제 쓰기 캐시 정책에 관계없이 모든 RAID 볼륨이 운영 체제에 연속기입으로 제공됩니다. Shared PERC 8 카드는 운영
체제 또는 응용프로그램에 관계없이 캐시에서 데이터를 관리합니다.
노트: Dell Chassis Management Controller(CMC)를 사용하여 가상 디스크 캐시 설정을 보고 관리할 수 있습니다.
후기입
후기입 캐싱에서는 컨트롤러 캐시가 트랜잭션의 모든 데이터를 수신하면 컨트롤러가 호스트에 데이터 전송 완료 신호를 보냅니다.
그런 다음 컨트롤러가 백그라운드의 스토리지 장치에 캐시된 데이터를 씁니다.
후기입 캐싱을 사용할 때, 전원 장애가 발생하거나 데이터가 스토리지 장치에 기입될 때 캐시된 데이터가 손실될 위험이 있습니다. 이
러한 위험성은 Shared PERC 8 카드에서 배터리로 작동되는 비휘발성 캐시를 사용하여 완화할 수 있습니다. 자세한 내용은 Shared
PERC 8
카드 캐시 보존을 참조하십시오.
노트: 단일 및 이중 컨트롤러 시스템에서 가상 디스크의 기본 캐시 설정은 후기입 캐싱입니다.
후기입 방식을 사용하기 위한 조건
후기입 캐싱은 단일 및 이중 Shared PERC 8 카드 구성의 기본 캐싱 모드입니다. 후기입 캐싱은 배터리가 있고 좋은 상태일 경우 모든
조건에서 구성할 수 있습니다.
후기입 캐싱을 지원하지 않는 버전의 펌웨어가 있는 VRTX 시스템에 가상 디스크가 이미 생성되어 있을 경우에는 기본값이 연속 기입
으로 남아 있게 됩니다. 후기입을 지원하는 펌웨어 버전으로 시스템이 업데이트된 경우라도 후기입 모드로 전환되기 전에 가상 디스
크를 후기입으로 수동 변경해야 합니다.
배터리 없이 강제 후기입 방식을 사용하기 위한 조건
주의: 시스템의 전원 공급이 갑자기 중단되는 경우 데이터가 유실되지 않도록 하려면 강제 후기입 시 전원 백업 시스템을 사용하
는 것이 좋습니다.
배터리가 없거나 올바르게 작동되지 않는 경우에도 가상 디스크가 후기입 모드에서 작동되도록 강제 후기입을 활성화할 수 있습니
다.
Write-Through(연속 기입)
연속 기입 캐싱에서는 디스크 서브시스템이 트랜잭션의 모든 데이터를 수신하면 컨트롤러가 호스트 시스템에 데이터 전송 완료 신호
를 보냅니다.
노트: 연속 기입 캐시를 사용하는 대부분의 구성 및 워크로드에서는 후기입 캐시에 비해 다소 성능이 떨어집니다.
Shared PERC 8 카드 기능 17
연속 기입 방식을 사용하기 위한 조건
연속 기입 캐싱은 배터리가 고장나거나 없는 조건에서 사용됩니다. 컨트롤러에 고정된 캐쉬가 존재하는 경우에도 연속 기입이 활성
화됩니다.
가상 디스크 읽기 캐시정책
가상 디스크의 읽기 정책에 따라 컨트롤러가 해당 가상 디스크에서 읽기를 처리하는 방법이 결정됩니다.
• Read Ahead(미리 읽기) - 컨트롤러가 요청된 데이터를 미리 순차적으로 읽고 캐시 메모리에 추가적인 데이터를 저장할 수 있습니
다. 이 기능은 순차적 데이터 읽기의 속도가 빨라지지만 랜덤 데이터에 액세스할 때는 속도 변화가 거의 없습니다.
• No Read Ahead(미리 읽기 없음) - Read-Ahead(미리 읽기) 기능을 비활성화합니다.
• Adaptive Read Ahead(적응성 있는 미리 읽기) - Read Ahead(미리 읽기) 모드는 순차 섹터에 최근 2번의 디스크 액세스가 발생하
는 경우에 사용되며, 그렇지 않은 경우 컨트롤러가 No Read Ahead(미리 읽기 없음) 모드로 되돌아갑니다.
노트: 가상 디스크에 대한 기본 읽기 캐시 설정은 Adaptive Read Ahead(적응성 있는 미리 읽기)입니다.
물리 디스크 쓰기 캐시 정책
관리 유틸리티는 가상 디스크와 연결된 물리 디스크에 대한 디스크 캐시 정책을 수정하는 옵션을 제공합니다. Shared PERC 컨트롤러
에는 다음 옵션이 제공됩니다.
옵션
활성화 선택한 가상 디스크와 연결된 드라이브에 대해 물리 디스크 캐시를 활성화합니다.
비활성 상태 선택한 가상 디스크와 연결된 드라이브에 대해 물리 디스크 캐시를 비활성화합니다.
기본값 물리 디스크에 대한 기본 캐시 정책이 사용됩니다. 기본 설정에 대한 자세한 내용은 물리 디스크 설명서를 참
경고: 중요한 데이터가 들어있는 디스크는 가상 디스크 캐시를 활성화하는 것은 좋지 않습니다. 정전으로 인해 지속성 매체에 플
러싱되기 전에 데이터가 손실될 수 있습니다.
노트: 물리 디스크 캐시에 대한 모든 변경 사항은 전체 디스크 그룹의 모든 가상 디스크에 적용됩니다. 같은 디스크 그룹의 가상
디스크에 대해 서로 다른 캐시 정책을 적용할 수 없습니다.
설명
조하십시오.
내결함성
Shared PERC 8의 내결함성 기능은 다음과 같습니다.
• 자가 모니터링 및 보고 기술(SMART) 지원
• 순회 읽기 지원
• 물리 디스크 오류 감지
• 핫 스페어를 사용하여 물리 디스크 재구축
• 컨트롤러 캐시 보존
• 데이터 보호를 위한 컨트롤러 캐시의 배터리 및 비휘발성 캐시 백업
• 부팅 후 충전량이 낮은 배터리 감지
• 내결함성 Shared PERC 8 카드 구성 시스템의 컨트롤러 장애 복구 지원
다음 절에서는 내결함성을 얻기 위한 몇 가지 방법이 설명되어 있습니다.
18 Shared PERC 8 카드 기능
SMART 기능
SMART 기능은 예측 가능한 물리 디스크 오류를 감지할 수 있도록 모든 모터, 헤드 및 물리 디스크 전자 기기의 특정 물리적 측면을 모
니터합니다. SMART 호환 물리 디스크에 값의 변경 사항을 식별하고 값이 임계값 한도 내에 있는지 판별하기 위해 데이터를 모니터링
할 수 있는 속성이 있습니다. 여러 기계 및 전자 오류로 인해 오류가 발생하기 전의 성능이 일부 저하됩니다.
SMART 오류를 예측된 오류라고도 합니다. 베어링 오류, 손상된 읽기/쓰기 헤드 및 스핀 업 속도 변화와 같이 예측된 물리 디스크 오
류와 관련된 여러 요인이 있습니다. 또한 검색 오류 속도 및 초과 불량 섹터와 같이 읽기/쓰기 표면 오류와 관련된 요인이 있습니다.
노트: SCSI 인터페이스 사양에 대한 자세한 내용은 t10.org를 참조하고, SATA 인터페이스 사양에 대한 자세한 내용은 t13.org를
참조하십시오.
멤버 자동 교체
자동 멤버 교체 기능을 사용하면 이전에 위임된 핫 스페어를 사용 가능한 핫 스페어로 되돌릴 수 있습니다. 가상 디스크 내에서 디스
크 장애가 발생할 경우 지정된 핫 스페어(전용 또는 전역)가 위임되어 가상 디스크가 최적 상태가 될 때까지 재구축을 시작합니다. 장
애가 발생한 실제 디스크가 교체되고(동일한 슬롯에서) 재구축이 완료되면 Shared PERC 8 카드가 위임된 핫 스페어에서 새로 삽입된
디스크에 데이터를 자동으로 복사하기 시작합니다. 데이터가 복사되면 새 디스크는 가상 디스크의 일부가 되며 핫 스페어는 사용 준
비된 핫 스페어로 되돌려집니다. 따라서 핫 스페어가 특정 인클로저 슬롯에 남아 있을 수 있습니다. Shared PERC 8 카드가 핫 스페어
를 되돌리는 동안에 가상 디스크는 최적 상태로 유지됩니다.
SMART 오류가 발생한 물리 디스크는 멤버 교체를 성공적으로 완료한 이후에만 Failed(오류)로 표시됩니다. 이렇게 하면 어레이가 성
능 저하 상태로 바뀌지 않습니다. 원래 핫 스페어 상태로 재구축에 사용된 소스 디스크를 사용해 자동 멤버 교체가 이루어졌고 멤버
교체 작업을 위해 대상 디스크로 새 디스크가 추가된 경우 성공적인 멤버 교체 작업 후 핫 스페어가 핫 스페어 상태로 되돌아갑니다.
노트: Shared PERC 8 카드는 오류가 발생한 디스크를 같은 슬롯에 새 디스크로 교체할 경우에만 핫 스페어를 되돌립니다.
노트: 일반적으로 멤버 교체 작업은 디스크 성능에 일시적인 영향을 줍니다. 작업이 완료되면 디스크 성능이 정상으로 회복됩니
다.
노트: 자동 멤버 교체를 활성화하려면 Dell OpenManage 스토리지 관리 응용 프로그램을 사용하십시오. 자동 멤버 교체에 대해 자
세한 내용은 Dell OpenManage 스토리지 관리 항목을 참조하십시오. 수동 멤버 교체에 대해 자세한 내용은 온라인 물리 디스크 교
체 항목을 참조하십시오.
순회 읽기
순회 읽기 기능은 실제 디스크 상태와 데이터 무결성을 보장하기 위한 예방책으로 설계되었습니다. 순회 읽기 기능은 구성된 실제 디
스크의 잠재적인 문제를 발견하여 해결합니다. Dell Chassis Management Controller(CMC)를 사용하여 순회 읽기 기능을 시작하고 제
어할 수 있습니다.
다음은 순회 읽기에 대한 개요입니다.
• 순회 읽기는 핫 스페어를 포함한 가상 디스크의 일부로 구성되는 컨트롤러의 모든 디스크에서 실행됩니다.
• 순회 읽기는 가상 디스크에 속하지 않거나 준비 상태가 아닌 물리 디스크에 대해서는 실행되지 않습니다.
• 순회 읽기는 해결되지 않은 디스크 I/O를 기반으로 순회 읽기 작업에만 사용되는 컨트롤러 리소스의 양을 조정합니다. 예를 들어,
시스템에서 I/O 작업을 처리 중인 경우 순회 읽기가 더 적은 리소스를 사용하여 I/O의 우선순위가 더 높게 지정되도록 합니다.
• 순회 읽기는 다음 작업 중 하나와 관련된 디스크에서는 실행되지 않습니다.
– 재구축
– 멤버 교체
Shared PERC 8 카드 기능 19
Loading...