멜블의 한 줄 의견 : HBM은 "더 빠른 D램"이라기보다 "D램을 쌓아서 프로세서 바로 옆에 붙인 것"이라고 이해하시면 나머지 내용이 훨씬 쉽게 들어온다고 생각 듭니다.
< 3줄 요약 >
- HBM은 D램 칩을 여러 장 쌓고, 칩에 구멍을 뚫어 위아래를 잇는(TSV) 방식으로 만든 메모리입니다.
- 데이터가 오가는 통로가 일반 D램 모듈(64비트)보다 훨씬 넓어서(HBM4 기준 2,048비트), 1초에 옮기는 양이 수십 배 많습니다.
- AI 반도체는 계산보다 데이터를 가져오는 속도가 발목을 잡는 경우가 많아서 HBM이 필요합니다.
반도체 기사를 보시는 분들이라면 요즘 "HBM"이라는 단어를 하루가 멀다 하고 보셨을 겁니다. 그런데 막상 "그래서 일반 D램이랑 뭐가 다른데?"라고 물으면 한 문장으로 답하기가 쉽지 않습니다.
지난 [#1] 글에서는 반도체 산업이 IDM, 팹리스, 파운드리처럼 어떻게 나뉘는지 정리해 드렸습니다. 이번 [#2]에서는 메모리 쪽으로 들어가서, HBM이 어떻게 생겼고 왜 AI에 꼭 필요한지 풀어보고자 합니다. 면접이나 리포트에 바로 쓰실 수 있게 용어 정리도 끝에 넣어 두었습니다.
HBM은 어떻게 생겼나
일반 D램과 HBM이 놓이는 방식 (개념도)
< 1. 이름부터 보면 >
HBM은 High Bandwidth Memory의 줄임말입니다. 우리말로는 "고대역폭 메모리"인데, 여기서 대역폭은 1초에 옮길 수 있는 데이터 양을 말합니다. 이름 자체가 "한 번에 많이 옮기는 메모리"라는 뜻입니다.
< 2. D램을 쌓아 올린 구조 >
HBM 안에 들어 있는 것도 결국 D램입니다. 다른 점은 D램 칩 여러 장을 아파트처럼 위로 쌓는다는 것입니다. 삼성전자와 SK하이닉스가 2024년에 발표한 HBM3E는 12장(12단)을 쌓았고, 2025년 4월 나온 HBM4 규격은 4단부터 16단까지 쌓을 수 있게 정해 두었습니다.
쌓기만 해서는 칩끼리 신호가 오가지 못합니다. 그래서 칩에 아주 작은 구멍을 많이 뚫고 그 안을 금속으로 채워서 위아래 칩을 바로 잇습니다. 이 기술이 TSV(Through Silicon Via, 실리콘 관통 전극)입니다. 칩 바깥으로 선을 빙 둘러 연결하는 대신 엘리베이터 통로를 뚫어 놓은 셈이라, 거리가 짧고 통로를 많이 만들 수 있습니다.
참고로 쌓는 장수가 늘어도 전체 높이는 늘리면 안 됩니다. SK하이닉스는 12단 제품의 칩 하나를 이전보다 40% 얇게 만들어 8단 제품과 같은 높이를 맞췄다고 밝혔고, 삼성전자도 12단 제품이 8단과 같은 높이 규격을 지킨다고 발표했습니다.
< 3. 프로세서 바로 옆에 붙는다 >
PC에 들어가는 D램은 메인보드 슬롯에 꽂는 모듈 형태라 CPU와 조금 떨어져 있습니다. HBM은 GPU 같은 AI 가속기 바로 옆에, 인터포저라는 중간 기판 위에 함께 올라갑니다. 거리가 가까울수록 신호를 많이, 빠르게 주고받기 쉬워집니다.
일반 D램과 무엇이 다른가
< 1. 한눈에 비교 >
| 구분 | 일반 D램 (DDR5 모듈) | HBM3E | HBM4 |
| 데이터 통로 폭 | 64비트 | 1,024비트 | 2,048비트 |
| 핀 하나 속도 | 6.4Gbps (DDR5-6400) | 9.6Gbps (SK하이닉스) | 최대 8Gbps (규격) |
| 1개당 대역폭 | 51.2GB/s (계산값) | 1,280GB/s (삼성전자 발표) | 약 2TB/s (규격) |
| 쌓는 장수 | 쌓지 않음 | 12단 (2024년 발표 제품) | 4·8·12·16단 |
| 1개당 최대 용량 | 모듈에 따라 다름 | 36GB | 64GB (32Gb 칩 16단) |
| 놓이는 곳 | 메인보드 슬롯 | 프로세서 옆 인터포저 | 프로세서 옆 인터포저 |
출처 : JEDEC HBM4 규격 발표(2025.4), 삼성전자 뉴스룸(2024.2.27), SK하이닉스 발표(2024.10) · DDR5는 통로 폭과 속도로 계산
보시는 바와 같이 가장 큰 차이는 통로 폭입니다. DDR5 모듈 하나가 64차선 도로라면 HBM4는 2,048차선 도로입니다. 차선 하나의 속도(핀 하나 속도)는 오히려 HBM4 규격이 DDR5보다 크게 높지 않은데, 차선 수가 압도적으로 많아서 전체로 옮기는 양이 크게 차이 납니다.
< 2. 대역폭은 이렇게 계산합니다 >
메모리 1개가 1초에 옮기는 데이터 양 비교
계산식은 생각보다 간단합니다.
대역폭(GB/s) = 통로 폭(비트) × 핀 하나 속도(Gbps) ÷ 8
마지막에 8로 나누는 이유는 8비트가 1바이트이기 때문입니다. 직접 넣어 보면 아래와 같습니다.
| 메모리 | 계산 | 결과 |
| DDR5-6400 모듈 | 64 × 6.4 ÷ 8 | 51.2GB/s |
| HBM3E (SK하이닉스 9.6Gbps) | 1,024 × 9.6 ÷ 8 | 약 1,229GB/s |
| HBM4 (규격 최대) | 2,048 × 8 ÷ 8 | 2,048GB/s (약 2TB/s) |
같은 식에 공개된 숫자를 넣어 계산한 값
이 식 하나만 알아 두셔도 새 메모리 발표 기사를 볼 때 숫자가 어디서 나왔는지 바로 확인하실 수 있습니다. 면접에서 "HBM이 왜 빠른가요?"라는 질문을 받으면 이 식으로 설명하시면 됩니다.
AI에는 왜 HBM이 필요한가
AI 모델은 계산을 하기 전에 수십억, 수백억 개의 숫자(파라미터)를 메모리에서 계속 꺼내 와야 합니다. 그런데 GPU의 계산 속도가 빨라지는 만큼 메모리가 데이터를 넘겨주지 못하면, GPU는 데이터가 올 때까지 기다리게 됩니다. 업계에서는 이걸 "메모리 벽"이라고 부르기도 합니다.
SK하이닉스는 12단 HBM3E를 발표하면서, 이 제품 4개를 단 GPU 하나가 700억 개 파라미터 모델(Llama 3 70B)을 1초에 35번 읽을 수 있다고 설명했습니다. 결국 HBM은 "계산이 빠른 GPU가 놀지 않게 데이터를 대 주는 역할"을 한다고 보시면 됩니다.
HBM3E에서 HBM4로, 무엇이 바뀌었나
반도체 표준을 정하는 기관인 JEDEC은 2025년 4월 HBM4 규격(JESD270-4)을 발표했습니다. 주요 변화는 아래와 같습니다.
| 항목 | HBM3 계열 | HBM4 |
| 통로 폭 | 1,024비트 | 2,048비트 |
| 독립 채널 수 | 16개 | 32개 (채널마다 2개로 다시 나눔) |
| 쌓는 장수 | 제품에 따라 다름 | 4·8·12·16단 |
| 칩 하나 용량 | 제품에 따라 다름 | 24Gb 또는 32Gb |
| 최대 용량 | 36GB (2024년 12단 제품) | 64GB |
| 기존 컨트롤러 | 해당 없음 | HBM3 컨트롤러와 호환 |
출처 : JEDEC HBM4 규격 발표 (2025.4)
통로 폭이 두 배가 된 것이 가장 큰 변화입니다. 핀 하나 속도를 무리하게 올리지 않고도 전체 대역폭을 크게 늘릴 수 있는 방향입니다. 또 기존 HBM3 컨트롤러와 호환되게 만들어서, 하나의 컨트롤러로 두 세대를 모두 다룰 수 있다는 점도 규격에 들어 있습니다.
단점은 없을까
장점만 있는 기술은 아닙니다. 칩을 얇게 갈고, 구멍을 뚫고, 여러 장을 정확히 쌓는 과정이 더해지기 때문에 일반 D램보다 만들기가 훨씬 까다롭습니다. 구조상 쌓은 칩 중 하나만 불량이어도 묶음 전체가 문제가 될 수 있어서, 수율(만든 것 중 정상 제품 비율)을 높이기가 그만큼 어렵습니다.
열도 신경 써야 합니다. 칩을 겹겹이 쌓으면 가운데 칩의 열이 빠져나갈 길이 좁아지기 때문입니다. 쌓는 방식 자체도 계속 바뀌고 있는데, 삼성전자는 12단 HBM3E에 칩 사이에 넣는 얇은 필름(TC NCF) 기술을 적용했다고 발표했습니다. 그래서 HBM은 PC용 일반 메모리를 대신하기보다, 비싸도 속도가 꼭 필요한 AI 가속기와 고성능 컴퓨터에 주로 쓰입니다.
학업·업무에 쓰는 법
< 1. 면접·리포트용 핵심 용어 >
| 용어 | 한 줄 뜻 |
| HBM | D램을 여러 장 쌓아 프로세서 옆에 붙인 고대역폭 메모리 |
| TSV | 칩에 구멍을 뚫어 위아래 칩을 바로 잇는 기술 |
| 대역폭 | 1초에 옮길 수 있는 데이터 양 (통로 폭 × 속도 ÷ 8) |
| 인터포저 | 프로세서와 HBM을 함께 올려 연결하는 중간 기판 |
| JEDEC | 메모리 규격을 정하는 국제 표준 기관 |
< 2. 한 문장으로 설명한다면 >
"HBM은 D램을 TSV로 수직 적층해 데이터 통로를 1,024비트 이상으로 넓힌 메모리로, AI 가속기가 계산하는 속도에 맞춰 데이터를 공급하기 위해 쓰입니다." 이 문장을 기본으로, 위 대역폭 계산식을 덧붙이시면 설명이 훨씬 단단해집니다.
< 3. 더 공부하실 분들이라면 >
JEDEC 공식 사이트에서 HBM 규격 목록을 볼 수 있고, 삼성전자 반도체 뉴스룸과 SK하이닉스 뉴스룸에는 신제품이 나올 때마다 구조 설명이 함께 올라옵니다. 기사보다 이 원문을 먼저 보시는 습관을 들이시는 걸 추천드립니다.
자주 묻는 질문
< Q. HBM을 일반 PC에도 쓰나요? >
지금 일반 PC 메모리는 DDR, 그래픽카드 메모리는 주로 GDDR 계열입니다. 예전에 일부 그래픽카드에 HBM이 쓰인 적은 있지만, 지금은 AI 가속기와 고성능 컴퓨터용이 중심입니다.
< Q. 12단, 16단은 무슨 뜻인가요? >
D램 칩을 몇 장 쌓았는지를 말합니다. 12단이면 D램 12장을 쌓은 것이고, 장수가 늘수록 같은 크기에 담을 수 있는 용량이 커집니다.
< Q. HBM4는 이미 나왔나요? >
규격은 JEDEC이 2025년 4월에 발표했습니다. 실제 제품 출시와 공급 시기는 회사마다 달라서, 각 회사 공식 발표를 확인하시는 게 정확합니다.
참고 자료
- JEDEC, HBM4 규격(JESD270-4) 발표 보도 : New Electronics, All About Circuits (2025.04)
- 삼성전자 뉴스룸, Samsung Develops Industry-First 36GB HBM3E 12H DRAM (2024.02.27)
- SK하이닉스 12단 HBM3E 양산 발표 보도 : Silicon Semiconductor (2024.10)
(글 정리 과정에서 AI 도움을 일부 받았으며, 숫자는 원문을 직접 확인하였습니다. 틀린 부분이 있다면 댓글로 알려주시면 바로 수정하겠습니다.)
관련글
2023.01.05 - [Semicon. Story] - [#1] 반도체 분야 산업 생태계 IDM(IP기업, 팹리스, 디자인하우스, 파운드리, OSAT)
댓글