[Linux] Intel VROC RAID 개념 및 디스크 장애 대처
안녕하세요. 주식회사 서버몬 입니다.
오늘은 Intel VROC 개념을 알아보고 장애 상황에 대처 하는 방법에 대해 알아 보겠습니다.
Intel VROC 이란?
Intel Virtual RAID on CPU(Intel VROC)는 NVMe SSD의 성능을 극대화하는 엔터프라이즈 RAID 솔루션입니다.
Intel VROC는 Intel® Volume Management Device 라는 Intel Xeon Scalable 프로세서의 기능을 통해 활성화 됩니다.
NVMe SSD는 CPU에 직접 연결되어 빠른 스토리지 장치의 전체 성능 잠재력을 실현할 수 있으며
Intel VROC는 드라이브와 CPU 사이에 배치된 기존 하드웨어 RAID 호스트 버스 어댑터 카드의 복잡성, 비용 및 전력 소모 없는 이점을 제공합니다.
Intel VROC 제품별 기능
| 기능 | 패스스루 (PCH에 포함) |
표준 SKU | 프리미엄 SKU | |
| 인텔 VMD | 핫 플러그 | 예 | 예 | 예 |
| 결함 격리 | 예 | 예 | 예 | |
| LED 관리 | 예 | 예 | 예 | |
| NVMe RAID | 부팅 가능한 RAID | 아니요 | 예 | 예 |
| RAID 0/1/10 | 아니요 | 예 | 예 | |
| 레이드 5 | 아니요 | 아니요 | 예 | |
| SATA RAID | PCH의 SATA RAID
|
예 | 예 | 예 |
Intel VROC 의 장단점
| 장점 |
|
| 높은 성능 | CPU의 직접 연산을 활용하여 RAID 연산을 가속화하므로, 기존의 소프트웨어 RAID보다 뛰어난 성능을 제공합니다. |
| 유연성 | 다양한 RAID 레벨을 지원하며, NVMe SSD의 장점을 극대화할 수 있습니다 |
| 비용 절감 | 별도의 하드웨어 RAID 카드가 필요 없으므로 비용을 절감할 수 있습니다. |
| 쉬운 관리 | 인텔 RSTe 와 같은 소프트웨어를 통해 쉽게 RAID를 관리하고 모니터링할 수 있습니다. |
| 안정성 | 인텔의 검증된 기술을 기반으로 하여 안정성이 높습니다. |
| 단점 |
|
| 하드웨어 키 요구 | 일부 RAID 레벨을 사용하려면 별도의 VROC 하드웨어 키가 필요하여 추가 비용이 발생할 수 있습니다. |
| 호환성 문제 | 모든 NVMe SSD가 VROC와 호환되지 않으므로, 호환성을 사전에 확인해야 합니다. |
| 제한된 플랫폼 | 인텔의 특정 CPU와 메인보드에서만 사용할 수 있어 제한적입니다. |
| 복잡성 | 설정 및 관리가 일반적인 소프트웨어 RAID에 비해 복잡할 수 있으며, 전문 지식이 요구됩니다. |
| 업그레이드 제한 | CPU와 플랫폼의 변경 시 VROC 구성을 다시 해야 할 수 있습니다. |
VROC 확인
Intel VROC Raid 1 을 사용하여 테스트 서버를 구성 하였습니다.
테스트 장비 사양
- HPE DL20 Gen10 Plus 2LFF / SATA HDD 1TB * 2
- Rocky Linux 8
구성 볼륨 정보 확인
RAID 1으로 구성되어 1TB 정도의 용량이 할당 되었습니다.
[root@test01 packages]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 7.7G 0 7.7G 0% /dev
tmpfs 7.7G 4.0K 7.7G 1% /dev/shm
tmpfs 7.7G 18M 7.7G 1% /run
tmpfs 7.7G 0 7.7G 0% /sys/fs/cgroup
/dev/mapper/rl-root 70G 8.2G 62G 12% /
/dev/md126p2 1014M 288M 727M 29% /boot
/dev/md126p1 599M 5.8M 594M 1% /boot/efi
/dev/mapper/rl-home 806G 5.7G 800G 1% /home
아래 명령어로 md126 라는 디바이스 정보를 확인 할 수 있습니다.
[root@test01 packages]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 1.5G 0 loop /mnt
sda 8:0 0 931.5G 0 disk
└─md126 9:126 0 885G 0 raid1
├─md126p1 259:0 0 600M 0 md /boot/efi
├─md126p2 259:1 0 1G 0 md /boot
└─md126p3 259:2 0 883.4G 0 md
├─rl-root 253:0 0 70G 0 lvm /
├─rl-swap 253:1 0 7.9G 0 lvm [SWAP]
└─rl-home 253:2 0 805.5G 0 lvm /home
sdb 8:16 0 931.5G 0 disk
└─md126 9:126 0 885G 0 raid1
├─md126p1 259:0 0 600M 0 md /boot/efi
├─md126p2 259:1 0 1G 0 md /boot
└─md126p3 259:2 0 883.4G 0 md
├─rl-root 253:0 0 70G 0 lvm /
├─rl-swap 253:1 0 7.9G 0 lvm [SWAP]
└─rl-home 253:2 0 805.5G 0 lvm /home
Intel VROC RAID 구성 정보 확인
Intel VROC 의 상세 정보를 확인 합니다.
[root@localhost ~]# mdadm --detail-platform
Platform : Intel(R) Virtual RAID on CPU
Version : 7.7.2.1004
RAID Levels : raid0 raid1 raid10 raid5
Chunk Sizes : 4k 8k 16k 32k 64k 128k
2TB volumes : supported
2TB disks : supported
Max Disks : 8
Max Volumes : 2 per array, 8 per controller
I/O Controller : /sys/devices/pci0000:00/0000:00:17.0 (SATA)
Port5 : /dev/sdb (WCC6M2SY55L0)
Port4 : /dev/sda (23GDK5F5FE0F)
Port0 : - no device attached -
Port1 : - no device attached -
Port2 : - no device attached -
Port3 : - no device attached -
Port6 : - no device attached -
Port7 : - no device attached -
MD126 디바이스를 상세 조회 합니다.
[root@test01 packages]# mdadm --detail /dev/md126
/dev/md126:
Container : /dev/md/imsm, member 0
Raid Level : raid1
Array Size : 927916032 (884.93 GiB 950.19 GB)
Used Dev Size : 927916032 (884.93 GiB 950.19 GB)
Raid Devices : 2
Total Devices : 2
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Consistency Policy : resync
UUID : 811c1f53:b7583aee:0ae8e7c7:fff31206
Number Major Minor RaidDevice State
1 8 0 0 active sync /dev/sda
0 8 16 1 active sync /dev/sdb
sda, sdb 의 디바이스들이 sync 되어 정상임을 확인 할 수 있습니다.
볼륨 장애 복구
Intel VROC RAID 구성시 하드드라이브 장애에 대응 해보는 방법을 알아 보겠습니다.
현재 디스크 구성에 대해서 확인 해봅니다.
[root@test01 packages]# mdadm --detail /dev/md126
/dev/md126:
Container : /dev/md/imsm, member 0
Raid Level : raid1
Array Size : 927916032 (884.93 GiB 950.19 GB)
Used Dev Size : 927916032 (884.93 GiB 950.19 GB)
Raid Devices : 2
Total Devices : 2
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Consistency Policy : resync
UUID : 811c1f53:b7583aee:0ae8e7c7:fff31206
Number Major Minor RaidDevice State
1 8 0 0 active sync /dev/sda
0 8 16 1 active sync /dev/sdb
sda, sdb 의 디스크 2개로 RAID1 이 구성 되어 있습니다.
sdb 를 장애 디스크로 가정하고 진행 해보겠습니다.
해당 디스크를 Fail 상태로 변환 합니다.
[root@test01 ~]# mdadm -f /dev/md126 /dev/sdb
mdadm: set /dev/sdb faulty in /dev/md126
해당 디스크를 논리적으로 제거 합니다.
[root@test01 packages]# mdadm -r /dev/md/imsm /dev/sdb
mdadm: hot removed /dev/sdb from /dev/md/imsm
볼륨 상태가 degraded 로 변경 되었습니다.
[root@test01 ~]# mdadm --detail /dev/md126
/dev/md126:
Container : /dev/md/imsm, member 0
Raid Level : raid1
Array Size : 927916032 (884.93 GiB 950.19 GB)
Used Dev Size : 927916032 (884.93 GiB 950.19 GB)
Raid Devices : 2
Total Devices : 2
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Consistency Policy : resync
UUID : 811c1f53:b7583aee:0ae8e7c7:fff31206
Number Major Minor RaidDevice State
1 8 0 0 active sync /dev/sda
2 8 16 1 active sync /dev/sdb
[root@test01 ~]# mdadm -f /dev/md /dev/sdb
md/ md126 md126p1 md126p2 md126p3 md127
[root@test01 ~]# mdadm -f /dev/md126 /dev/sdb
mdadm: set /dev/sdb faulty in /dev/md126
[root@test01 ~]# mdadm --detail /dev/md126
/dev/md126:
Container : /dev/md/imsm, member 0
Raid Level : raid1
Array Size : 927916032 (884.93 GiB 950.19 GB)
Used Dev Size : 927916032 (884.93 GiB 950.19 GB)
Raid Devices : 2
Total Devices : 1
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Consistency Policy : resync
UUID : 811c1f53:b7583aee:0ae8e7c7:fff31206
Number Major Minor RaidDevice State
1 8 0 0 active sync /dev/sda
- 0 0 1 removed
교체용 디스크를 삽입 후 볼륨 재구축을 진행 합니다.
sdb 디스크를 신규로 삽입
[root@test01 packages]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 1.5G 0 loop /mnt
sda 8:0 0 931.5G 0 disk
└─md126 9:126 0 885G 0 raid1
├─md126p1 259:0 0 600M 0 md /boot/efi
├─md126p2 259:1 0 1G 0 md /boot
└─md126p3 259:2 0 883.4G 0 md
├─rl-root 253:0 0 70G 0 lvm /
├─rl-swap 253:1 0 7.9G 0 lvm [SWAP]
└─rl-home 253:2 0 805.5G 0 lvm /home
sdb 8:16 0 931.5G 0 disk
해당 컨테이너 볼륨에 sdb 디바이스를 추가
[root@test01 packages]# mdadm --add /dev/md/imsm /dev/sdb
mdadm: added /dev/sdb
resync 정책의 의해 자동 복구 진행.
[root@test01 packages]# mdadm --detail /dev/md126
/dev/md126:
Container : /dev/md/imsm, member 0
Raid Level : raid1
Array Size : 927916032 (884.93 GiB 950.19 GB)
Used Dev Size : 927916032 (884.93 GiB 950.19 GB)
Raid Devices : 2
Total Devices : 2
State : active, degraded, recovering
Active Devices : 1
Working Devices : 2
Failed Devices : 0
Consistency Policy : resync
Rebuild Status : 0% complete
UUID : 811c1f53:b7583aee:0ae8e7c7:fff31206
Number Major Minor RaidDevice State
1 8 0 0 active sync /dev/sda
2 8 16 1 spare rebuilding /dev/sdb
옵션사항) 볼륨 복구 속도 조절
Linux 시스템은 mdam 을 통한 재구축 진행시 느린 속도로 진행 됩니다.
최소 / 최대 값을 조정 합니다.
아래 명령어로 RAID 재구축 속도를 확인 합니다.
[root@test01 packages]# sysctl dev.raid.speed_limit_min
dev.raid.speed_limit_min = 1000
[root@test01 packages]# sysctl dev.raid.speed_limit_max
dev.raid.speed_limit_max = 200000
아래 명령어로 RAID 재구축 속도를 조절 합니다.
[root@test01 packages]# sysctl -w dev.raid.speed_limit_min=100000
[root@test01 packages]# sysctl -w dev.raid.speed_limit_max=100000
운영 환경을 고려하여 조절 합니다.
재구축 속도를 최대로 구성하여 하드디스크 재구축 진행시 약 3시간 정도의 시간이 소요 되었습니다.
감사합니다.
참고:
- Intel VROC https://www.intel.co.kr/content/www/kr/ko/software/virtual-raid-on-cpu-vroc.html
1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트