[HW]HBM은 어디에 쓰이고, 일반 메모리랑 뭐가 다를까?

안녕하세요. 주식회사 서버몬 입니다.

오늘은 HBM 메모리에 대해서 알아 보도록 하겠습니다.

이름은 많이 들어 봤는데?

요즘 반도체 기사를 보면 HBM이라는 단어가 거의 매일 나옵니다.

SK하이닉스가 물량을 얼마나 따냈다, 삼성이 HBM4를 처음 출하했다, 엔비디아 신제품에 무엇이 들어간다…

그런데 막상 "그래서 HBM이 정확히 뭔데?"라고 물으면 시원하게 답하기가 쉽지 않습니다.

서버 기술지원 일을 하면서 GPU 서버 문의를 받을 때 이 질문을 꽤 자주 듣습니다.

그래서 오늘은 최대한 쉽게, HBM이 우리가 아는 메모리와 무엇이 다른지, 그리고 실제로 어디에 들어가는지를 정리해 봤습니다.

요즘 가장 뜨거운 HBM4 이야기도 뒤쪽에 조금 붙였습니다.

일반 메모리랑 뭐가 다를까?

결론부터 말하면 HBM도 D램입니다. PC나 서버에 꽂혀 있는 DDR 메모리와 기본 재료는 같습니다.

다른 점은 칩을 '어떻게 쌓고, 어디에 두느냐'입니다.

일반 메모리는 칩을 기판 위에 옆으로 나란히 붙여 모듈로 만들고, 메인보드 슬롯에 꽂아서 씁니다.

CPU와는 메인보드 배선을 타고 꽤 먼 길을 오갑니다.

HBM은 D램 칩을 아파트처럼 위로 쌓아 올립니다. 칩마다 미세한 구멍(TSV)을 수천 개 뚫어 층과 층을 엘리베이터처럼 이어 붙입니다. 이렇게 만든 '메모리 아파트'를 아예 GPU 바로 옆, 같은 패키지 안에 붙여 버립니다.

그림으로 보면 차이가 확 느껴집니다. 표로 정리하면 다음과 같습니다.

구분	일반 메모리	HBM
생김새	칩을 옆으로 나란히	칩을 위로 쌓음
위치	메인보드 슬롯 (CPU와 떨어져 있음)	GPU 바로 옆, 같은 패키지 안
데이터 통로 폭	채널당 64비트	스택당 1,024비트 (HBM4는 2,048비트)
교체·증설	슬롯에 꽂으면 끝	불가능 (칩과 한 몸)
잘하는 것	넉넉한 용량, 쉬운 확장	한 번에 많은 데이터 나르기

여기서 하나 짚고 갈 점이 있습니다. HBM을 흔히 '빠른 메모리'라고 하지만, 진짜 무기는 핀 하나의 속도보다 통로의 '폭'입니다.

1차선 고속도로와 수십 차선짜리 대로의 차이라고 할 수 있습니다. 차 한 대의 속도는 비슷해도,

한 번에 지나가는 차의 양이 완전히 다릅니다.

HBM 은 어디에 쓰일까?

의외로 HBM이 들어가는 곳은 꽤 좁습니다. 우리가 매일 쓰는 PC, 스마트폰, 사무실 서버에는 HBM이 없습니다.

그런 곳은 DDR이나 LPDDR이면 충분하기 때문입니다.

HBM이 실제로 들어가는 곳을 꼽아 보면 다음과 같습니다.

AI 가속기: 가장 큰 시장입니다. 엔비디아의 데이터센터용 GPU(H100, H200, 블랙웰, 루빈), AMD 인스팅트 시리즈, 구글 TPU 같은 AI 전용 칩은 모두 HBM을 씁니다.
슈퍼컴퓨터: 날씨 예측이나 신약 시뮬레이션처럼 계산량이 어마어마한 곳입니다. 일본 슈퍼컴퓨터 '후가쿠'에 들어간 CPU는 아예 HBM을 품고 있습니다.
일부 고성능 CPU·FPGA: 인텔 제온 맥스처럼 CPU에 HBM을 직접 붙인 제품도 있고, 네트워크 장비 등에 쓰는 FPGA 중에도 HBM을 단 모델이 있습니다.

공통점은 분명합니다. 모두 '엄청난 양의 데이터를 쉬지 않고 날라야 하는 곳'입니다.

반대로 게임용 그래픽카드는 HBM 대신 GDDR을 씁니다. 예전에 AMD가 게이밍 카드에 HBM을 넣은 적도 있지만, 지금은 다시 GDDR로 돌아왔습니다. 게임 정도면 GDDR로도 충분하고, HBM은 만들기가 까다로워 물량을 구하기도 쉽지 않기 때문입니다.

AI칩은 왜 꼭 HBM을 사용하는가?

AI 모델은 답을 한 글자씩 만들어낼 때마다 수십~수백 GB짜리 모델 데이터를 메모리에서 GPU로 계속 퍼 나릅니다.

계산보다 이 '나르는 일'이 더 바쁠 때가 많습니다.

식당 주방에 비유해 보겠습니다. GPU는 손이 엄청 빠른 요리사고, 메모리는 재료를 갖다주는 직원입니다.

요리사 실력이 아무리 좋아도 재료가 늦게 오면 손을 놓고 기다릴 수밖에 없습니다. 업계에서는 이를 '메모리 병목'이라고 부릅니다.

GPU 계산 속도는 해마다 쑥쑥 늘었지만, 메모리가 데이터를 넘겨주는 속도는 그만큼 따라가지 못했습니다.

HBM은 재료 창고를 요리사 바로 옆에 붙이고 창고 문을 수천 개로 늘린 셈입니다.

그러니 AI 칩 성능을 올리려면 HBM도 함께 좋아져야 하고, 자연스럽게 AI 경쟁이 HBM 경쟁으로 번졌습니다.

HBM4는 무엇이 달라졌는가

HBM은 2013년 처음 나온 뒤 HBM2, HBM2E, HBM3, HBM3E를 거쳐 올해 6세대인 HBM4까지 왔습니다.

세대가 바뀔 때마다 조금씩 빨라졌는데, 이번에는 변화 폭이 꽤 큽니다.

가장 큰 변화는 통로 폭입니다. 10년 가까이 1,024비트였던 통로가 HBM4에서 2,048비트로 두 배가 됐습니다. 덕분에 스택 하나가 1초에 2TB가 넘는 데이터를 나를 수 있게 됐습니다.

2TB/s는 표준 기준이고, 실제 제품은 이보다 빠릅니다.

올해 2월 삼성전자가 출하한 HBM4는 표준보다 46%가량 빠른 속도를 냅니다. 그림에 점선으로 표시한 부분입니다.

눈에 덜 띄지만 흥미로운 변화도 있습니다. 쌓아 올린 D램 맨 아래에는 '베이스 다이'라는 칩이 깔리는데, HBM4부터는 여기에 고객사 맞춤 로직이 들어갑니다. 그래서 SK하이닉스는 TSMC와 손잡고, 삼성전자는 자사 파운드리로 이 칩을 만듭니다.

이제는 메모리 기술만으로는 HBM을 만들 수 없는 시대가 된 것입니다.

HBM4 판의 주인공, 하이닉스와 엔비디아

HBM4 뉴스에서 빠지지 않는 이름이 둘 있습니다. 만드는 쪽의 하이닉스, 사는 쪽의 엔비디아입니다.

엔비디아는 HBM을 가장 많이 사 가는 회사입니다. 올해 하반기부터 본격적으로 풀리는 새 AI 플랫폼 '베라 루빈'에는 GPU 하나에 HBM4가 8개, 합쳐서 288GB가 들어갑니다.

메모리 대역폭은 22TB/s에 달합니다. 바로 앞 세대인 블랙웰이 HBM3E 192GB였으니, 한 세대 만에 꽤 많이 늘었습니다.

SK하이닉스는 HBM 시장 1위입니다. 지난해 2분기 출하량 기준 점유율이 62%였고, 올해 초에는 엔비디아 HBM4 물량의 약 3분의 2를 가져갔다는 보도도 나왔습니다.

개인적으로 흥미로웠던 부분은 두 한국 회사의 전략 차이입니다. 삼성전자는 2월 '업계 최초 양산 출하'를 발표하며 속도로 승부를 걸었고, SK하이닉스는 최초 타이틀보다 수율과 공급 안정성에 집중했습니다.

엔비디아처럼 수십만 대 규모로 서버를 찍어내야 하는 회사 입장에서는 '빨리'만큼 '꾸준히, 제때'가 중요하기 때문입니다.

물론 변수도 있습니다. 7월에는 부품 문제 등으로 엔비디아 전체 출하에서 루빈이 차지할 비중 전망이 낮아지기도 했습니다. HBM4를 얼마나 많이, 제때 공급하느냐가 메모리 회사들의 올해 성적표를 가를 것으로 보입니다.

서버 현장에서 보면

서버 상담을 하다 보면 GPU 모델명과 장수는 꼼꼼히 보시지만, 메모리가 HBM인지 GDDR인지까지 확인하시는 분은 생각보다 적습니다. 그런데 이것이 용도를 가르는 꽤 중요한 차이입니다.

예를 들어 사내 AI 서버로 많이 쓰는 엔비디아 L40S는 HBM이 아니라 GDDR6 48GB를 달고 있습니다.

사내 챗봇이나 문서 검색(RAG)처럼 이미 만들어진 모델을 돌리는 용도라면 이것으로도 충분히 잘 돌아갑니다.

반면 거대한 모델을 직접 학습시키거나 수많은 사용자 요청을 한꺼번에 받아야 하는 데이터센터라면 HBM을 단 GPU가 필요합니다.

고객분들께는 보통 이렇게 설명드립니다.

메모리 용량은 돌릴 수 있는 모델의 크기를 정합니다.
메모리 대역폭은 답이 나오는 속도와 한 번에 처리할 수 있는 양을 정합니다.

그래서 GPU를 고를 때는 모델명만 보지 말고 메모리가 몇 GB인지, HBM인지 GDDR인지도 꼭 함께 보시길 권합니다.

하려는 일에 맞는 메모리를 고르는 것이 가장 중요합니다.

GPU별 메모리 숫자로 비교

말로만 하면 감이 잘 오지 않으니, 서버 쪽에서 자주 보는 GPU들의 메모리 사양을 한 표에 모아 봤습니다.

GPU	아키텍쳐	메모리종류	용량	대역폭
L40S	Ada Lovelace	GDDR6	48GB	864GB/s
H100 (SXM)	Hopper	HBM3	80GB	3.35TB/s
H200	Hopper	HBM3E	141GB	4.8TB/s
B200	Blackwell	HBM3E	192GB	8TB/s
B300	Blackwell Ultra	HBM3E	최대 288GB	8TB/s
루빈	Rubin	HBM4	288GB	22TB/s

GDDR6를 쓰는 L40S와 HBM을 쓰는 H100만 놓고 봐도 대역폭이 4배 가까이 차이 납니다. 루빈까지 가면 25배가 넘습니다. 용량도 세대마다 꾸준히 늘었는데, 이는 바로 다음에 볼 '어떤 모델을 올릴 수 있느냐'와 직결됩니다.

하나 덧붙이면, 같은 H100이라도 서버 보드에 얹는 SXM 버전과 일반 PCIe 카드 버전은 메모리 대역폭이 다릅니다.

우리서버에는 어떤 LLM이 올라갈까?

서버 상담에서 가장 많이 듣는 질문은 두 가지입니다.

"이 서버에 OO 모델이 올라가나요?" 그리고 "얼마나 빠른가요?"입니다. 둘 다 메모리 숫자만 알면 대략 어림할 수 있습니다.

① 모델이 올라가는지: 용량 계산

모델 크기는 '파라미터 수 × 파라미터 하나당 바이트'로 계산합니다. 보통 FP16은 2바이트, FP8은 1바이트, 4비트 양자화는 0.5바이트입니다.

모델크기	FPS16	FPS8	4비트
8B	16GB	8GB	4GB
32B	64GB	32GB	16GB
70B	140GB	70GB	35GB
405B	810GB	405GB	약 203GB

여기에 대화 내용을 기억해 두는 KV 캐시와 실행 여유분이 더 필요합니다. 그래서 보통 표 숫자보다 20~30% 넉넉하게 잡으시라고 말씀드립니다.

예를 들어 70B 모델을 FP16 그대로 올리려면 140GB가 넘게 필요합니다. L40S(48GB)로는 최소 4장에 나눠 담아야 하고, H200(141GB)도 한 장에는 가중치만 겨우 들어가 여유가 없습니다. 그래서 현장에서는 FP8이나 4비트로 줄여서 올리는 경우가 많습니다.

② 얼마나 빠를지: 대역폭 계산

LLM은 답을 토큰(단어 조각) 하나씩 만들 때마다 모델 가중치 전체를 메모리에서 한 번씩 읽어 옵니다. 그래서 요청 하나를 처리할 때의 최대 속도는 거의 메모리 대역폭으로 정해집니다. 식으로 쓰면 다음과 같습니다.

32B 모델을 FP8(32GB)로 올렸다고 가정하고, 앞의 GPU들로 계산해 보면 다음과 같습니다.

물론 이는 이론상 최댓값입니다. 실제로는 소프트웨어 효율 때문에 이보다 낮게 나오고, 여러 요청을 묶어 처리(배치)하면 서버 전체 처리량은 훨씬 커집니다. 그래도 'GPU를 바꾸면 답변 속도가 대략 몇 배 달라질까'를 가늠하는 데는 충분합니다.

앞에서 HBM을 '한 번에 많이 나르는 메모리'라고 했던 것이, 실제 답변 속도에서는 이렇게 숫자로 드러납니다.

마치며

한 줄로 정리하면, HBM은 D램을 위로 쌓아 GPU 옆에 바짝 붙인 메모리입니다. 용량을 늘리거나 갈아 끼우기 쉬운 것보다 '한 번에 얼마나 많이 나르느냐'에 모든 것을 건 메모리라서, AI 칩이나 슈퍼컴퓨터처럼 데이터를 쉴 새 없이 퍼 날라야 하는 곳에 들어갑니다.

올해는 HBM4가 본격적으로 풀리면서 SK하이닉스, 삼성전자, 엔비디아의 이름이 뉴스에 더 자주 보일 것입니다. 다음에 관련 기사를 보시면 GPU 옆에 붙은 작은 '메모리 아파트'를 한번 떠올려 보시기 바랍니다. 기사가 훨씬 쉽게 읽힐 것입니다.

참고 자료

1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트

저작자표시 비영리 변경금지 (새창열림)