안녕하세요. 주식회사 서버몬 입니다.
대부분은 스토리지 구성시SMU(웹)에서 구성을 하지만 CLI에서 구성하는 몇가지 경우들이 있습니다.
- 초기 네트워크 세팅/접속이 불가하여 SMU(웹)접속이 불가할 때
- 여러 시스템에 동일한 정책으로 풀/볼륨 구성할 때
- 특정 매핑(individual initiator)을 할 때
CLI로 풀, 볼륨 생성과 호스트 등록까지 하는방법을 알아보고, multipath 설정 방법까지도 알아보겠습니다.
Multipath 란?
서버에서 스토리지(LUN)까지 가는 물리 경로(케이블/스위치/포트)가 여러 개 있을 때, OS에서 그걸 하나의 디스크처럼 묶어서 관리하는 기술입니다.
실제로 HBA 2개 / FC 스위치 2개 / 스토리지 컨트롤러 포트 2개 이렇게 여러 길로 같은 LUN에 접속하고 있는데 OS에서 보면 /dev/sda, /dev/sdb, /dev/sdc 이런 식으로 같은 LUN이 여러게 보이는데
이걸 multipath구성 시 한 덩어리(예: /dev/mapper/mpatha) 로 묶어서 보여주는 기능입니다.
그래서 서버 입장에서는 디스크 하나로 보이지만, 실제로는 뒤에서 여러 경로를 번갈아 쓰거나, 장애 시 다른 길로 자동 전환하는 구조입니다.
CLI 명령어
1. 디스크 상태 확인
show disks
장착된 디스크가 AVAIL 상태로 보여야 합니다.
2. Pool 생성
Raid 레벨을 결정하고 가상 디스크 그룹을 만들고, Pool [A,B] 에 귀속합니다.
지원 가능 Raid 레벨은 MSA2060 기준으로 RAID1 / 5 / 6 / 10 / MSA-DP+ 가 있습니다.
디스크 구성시에는 디스크 개수를 power of 2(2의 제곱수) 기반으로 구성하여야 합니다.
Pool 생성
add disk-group type virtual disks [disk 슬롯 번호] level [raid level] pool [A,B]
예시) add disk-group type virtual disks 1.1-1.12 level MSA-DP+ pool a
Pool 구성 확인
show pools
Pool 삭제
delete pools [A,B]
3. Volume 생성
볼륨할당시 풀의 최대용량을 모두 사용해서는 안됩니다. 최대용량에 20~30%는 시스템 메타데이터 및 스냅샷 관리용으로 사용(예약)합니다. 이 비율은 RAID 방식, DP+ 여부에 따라 유동적입니다.
또한, 볼륨 생성시 최대140TB까지만 생성이 가능합니다.
(아래 링크hpe msa 2060 QuickSpecs에서 Luns탭에서 확인 가능합니다.)
https://www.hpe.com/psnow/doc/a00094629enw.pdf
GUI에서 남은 전체 공간 사용을 선택하면, 자동으로 필요한 공간을 제외하고 볼륨 생성을 하지만 CLI에서는 전체용량을 사용하고 싶다면 RAID 방식, DP+ 여부에 따라 볼륨크기를 조절해야합니다.
create volume [볼륨이름] pool [A,B] size [볼륨구성크기]
예시) create volume test pool A size 140TB
볼륨 확인
show volumes
4. Host/Host-Group 생성 및 멤버 추가
show initiators
Host 추가를 위해 WWPN 확인을 합니다. HBA포트가 2개이기에 WWPN이 2개가 보입니다.
확인된 ID를 사용해 1번째 포트로는 생성을 하고, 2번째 포트를 추가합니다.
create host [host 그룹이름] initiators [initiator ID]
예시) create host linux-test initiators 51402ec0208a1dbc
add host-members [host 그룹이름] initiators [initiator ID]
예시] add host-members linux-test initiators 51402ec0208a1dbe
호스트 확인
show host-groups
볼륨 매핑 (LUN ID 지정)
생성한 볼륨을 각 이니시에이터에 동일 LUN ID로 매핑합니다. LUN 번호는 1일 필요는 없습니다. 아무거나 포트에서 비어 있는 번호를 사용하면 됩니다.
map volume [볼륨이름] initiator [lun ID] [lun번호]
map volume test initiator 51402ec0208a1dbc lun 1
map volume test initiator 51402ec0208a1dbe lun 1
매핑 확인
show host-groups
Mapped가 아니요에서 예로 변경되었는지 확인합니다.
Multipath 설정
패키지 설치
dnf install -y device-mapper-multipath
mpathconf --enable --with_multipathd y
해당 명령어는 다음 작업을 자동으로 수행합니다.
1) 기본 설정 파일 생성/수정
/etc/multipath.conf 파일을 기본값으로 생성하거나 업데이트합니다. 해당 블로그는 테스트용으로 conf파일이 자동 생성되었으니 실제 운영환경에서는 환경에 맞게 conf파일을 수정, 사용하셔야합니다.
2) multipathd 서비스 활성화 및 즉시 실행
multipathd 데몬을 부팅 시 자동 시작하도록 설정하고, 바로 서비스를 시작합니다.
3) 멀티패스 디스크 자동 생성
실행된 multipathd가 각 디스크의 WWID를 확인해 같은 WWID를 가진 디스크들을 하나의 LUN으로 인식하고, 이를 /dev/mapper/mpatha 같은 논리 멀티패스 장치로 만들어 줍니다.
lsblk
multipath –ll
해당 명령어로 multipath 구성이 정상적으로 된 것을 확인할 수 있습니다.
별칭(alias) 설정
위에서 생성된 마운트포인트의 mpatha가 아닌 다른 별칭으로 사용을 원한다면 /etc/multipath.conf 파일 수정이 필요합니다.
빨간색으로 된 부분을 내용 추가하고, alias 뒤에 별칭을 기입합니다.
wwid 값은 multipath –ll 에서 () 괄호 안에 값을 입력합니다.
※ 아래 multipath.conf 파일은 테스트용으로 작성된것이오니 실제 환경에서는 꼭 수정이 필요하며, HPE MSA 2060 사용시 하위 내용은 권장사항입니다.
device {
vendor "(HP|HPE)"
product "MSA [12]0[4567]0 (SAN|SAS|FC|iSCSI)"
path_grouping_policy "group_by_prio"
prio "alua"
failback "immediate"
no_path_retry 18
}
출처 : https://support.hpe.com/hpesc/public/docDisplay?docId=a00150357en_us&docLocale=en_US
서비스 재시작
systemctl restart multipathd
multipath -ll
이제 mpatha 대신 /dev/mapper/msa2060_data 로 보입니다.
파일시스템 포맷
mkfs.xfs /dev/mapper/mpatha
마운트 및 확인
mkdir -p /data
mount /dev/mapper/mpatha /data
df –h
multipath로 구성된 파티션을 포맷하고 /data에 마운트 합니다.
이후 multipath –ll 명령어에서도 확인할 수 있듯이 failover 테스트를 위해 한 개의 FC케이블을 뺀 후 에도 /data 영역에 읽기, 쓰기가 정상적으로 되는 것을 확인할 수 있습니다.
만약 부팅 이후에도 자동 mount를 원한다면 UUID값을 확인하여 fstab 등록이 필요합니다.
감사합니다.
1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트
댓글