AI 반도체 기술② HBM — GPU 옆에 붙은 초고속 메모리는 왜 중요할까?

GPU가 아무리 빨라도 계산에 필요한 데이터를 제때 받지 못하면 기다릴 수밖에 없습니다. AI 모델이 거대해질수록 GPU 옆에 붙은 HBM, 즉 고대역폭 메모리가 중요한 이유입니다.

이 글은 AI 반도체 기술① GPU에 이어지는 두 번째 콘텐츠입니다. 1편에서 살펴본 “GPU가 빨라질수록 데이터를 공급하는 메모리가 병목이 된다”는 지점에서 출발합니다.

GPU가 빨라졌는데 왜 메모리가 문제가 될까?

GPU는 수많은 계산을 동시에 처리하는 초고속 공장과 같습니다. 하지만 공장 설비가 아무리 빨라도 원재료를 실어 나르는 물류차량이 늦으면 생산라인은 멈춥니다. AI 반도체에서도 GPU는 계산할 때마다 메모리에서 모델의 가중치와 중간 데이터를 가져와야 합니다.

GPU의 계산 성능이 빠르게 증가하면서 기존 메모리 시스템이 데이터를 공급하는 속도가 따라가지 못하는 문제가 커졌습니다. 이를 메모리 병목(Memory Bottleneck)이라고 합니다. 이때 메모리 대역폭(Memory Bandwidth)은 일정 시간에 메모리와 GPU 사이를 오갈 수 있는 데이터의 총량을 뜻합니다.

HBM을 아주 쉽게 설명하면

HBM은 High Bandwidth Memory, 우리말로 고대역폭 메모리입니다. 여기서 핵심은 단순히 데이터 하나가 빨리 움직인다는 뜻이 아니라 같은 시간에 훨씬 많은 데이터를 동시에 옮긴다는 점입니다.

일반 메모리 연결이 몇 차선 도로라면 HBM은 수많은 차량이 한꺼번에 움직이는 초광폭 고속도로에 가깝습니다. NVIDIA H200은 141GB HBM3E와 초당 4.8TB의 메모리 대역폭을 제공한다고 밝히고 있습니다. 큰 언어모델의 학습과 추론에서 메모리 용량과 대역폭이 실제 연산 성능에 직접 연결되는 사례입니다.

메모리를 옆으로 늘리는 대신 위로 쌓는다

HBM은 여러 개의 DRAM 다이(메모리 칩 한 조각)를 수직으로 쌓습니다. 이렇게 쌓은 구조를 스택(Stack)이라고 하며, 각 층은 TSV(Through-Silicon Via·실리콘 관통 전극)로 연결합니다.

TSV는 아파트 여러 층을 수직으로 관통하는 엘리베이터와 비슷합니다. 수천 개의 미세 통로가 적층된 메모리 사이를 직접 연결하기 때문에 많은 데이터를 병렬로 이동시킬 수 있습니다. 삼성전자 공식 설명에 따르면 HBM은 보통 4단·8단·12단 등으로 구성되며, 적층수가 늘면 용량은 커지지만 발열과 제조 난도도 함께 증가합니다.

HBM과 일반 DRAM은 무엇이 다를까?

HBM의 경쟁력은 단순 용량보다 GPU와 얼마나 많은 데이터를 동시에 주고받을 수 있느냐에 있습니다. 같은 이름의 HBM이라도 세대, 적층수, 핀 속도와 패키지 설계에 따라 실제 성능은 달라집니다.

AI가 커질수록 HBM이 필요한 이유

학습(Training)은 수많은 데이터를 이용해 모델의 가중치를 조정하는 과정이고, 추론(Inference)은 학습된 모델이 질문에 답하거나 결과를 생성하는 과정입니다. 학습은 대규모 데이터를 반복해서 읽고 쓰며, 추론은 긴 문맥과 많은 동시 사용자를 처리할수록 메모리 접근량이 커집니다.

NVIDIA는 차세대 Rubin GPU에 HBM4를 적용해 HBM3E보다 인터페이스 폭을 두 배로 늘리고, GPU당 최대 288GB와 최대 22TB/s의 대역폭을 제시했습니다. 이는 AI 경쟁이 계산 코어의 개수뿐 아니라 그 코어를 쉬지 않게 만드는 메모리 공급 능력의 경쟁이기도 하다는 뜻입니다.

HBM도 계속 세대교체 중이다

HBM은 HBM2, HBM2E, HBM3, HBM3E를 거쳐 HBM4와 HBM4E로 발전하고 있습니다. 세대가 바뀔수록 일반적으로 대역폭과 용량이 늘고 전력 효율과 적층 기술이 고도화됩니다.

2026년 8월 기준 삼성전자는 HBM4 양산·출하와 HBM4E 샘플 공급을 발표했고, SK하이닉스는 HBM4 양산 준비에 이어 12단 HBM4E 샘플을 고객에게 제공했다고 밝혔습니다. Micron도 HBM4에서 2,048핀 인터페이스와 스택당 2.8TB/s 이상의 대역폭을 제시하고 있습니다. 공급관계나 고객사 인증 상태는 계속 변하므로 기업의 최신 공시와 공식 발표를 따로 확인해야 합니다.

HBM을 만들었다고 문제가 끝나지는 않는다

HBM을 여러 층으로 쌓은 뒤 GPU 옆에 그냥 놓는다고 하나의 AI 반도체가 되지는 않습니다. GPU와 여러 HBM 스택을 아주 가까이 배치하고, 수많은 신호를 안정적으로 연결하려면 첨단 패키징(Advanced Packaging)이 필요합니다.

인터포저(Interposer)는 GPU와 HBM을 연결하는 중간 연결판이고, 2.5D 패키징은 서로 다른 칩을 같은 패키지 안에 매우 가깝게 배치하는 방식입니다. HBM의 대역폭이 커질수록 본딩 정밀도, 패키지 수율, 발열과 전력 공급이 다음 병목으로 이동합니다.

글로벌 플레이어는 어떤 역할을 할까?

NVIDIA와 AMD는 HBM을 직접 제조하는 회사가 아니라 AI GPU와 가속기를 설계하는 핵심 수요 기업입니다. 어떤 용량과 대역폭, 전력 특성이 필요한지 메모리·패키징 생태계와 함께 설계합니다.

SK하이닉스, 삼성전자, Micron은 HBM을 개발·생산하는 주요 메모리 제조사입니다. 경쟁의 기준은 핀 속도 하나가 아니라 적층수, 수율, 전력 효율, 열 특성, 베이스 다이와 고객 맞춤 설계, 양산 안정성까지 넓어지고 있습니다.

국내 HBM 밴더 지도

아래 기업은 추천종목 목록이 아니라 공식 발표와 기업자료에서 HBM 사업 연관성을 확인할 수 있는 사례입니다.

• SK하이닉스·삼성전자 — HBM 제조
  DRAM 다이, 베이스 다이, 적층과 양산 기술을 바탕으로 HBM3E·HBM4 계열을 공급하거나 개발합니다.
• 한미반도체 — 적층 본딩 장비
  DRAM 다이를 열과 압력으로 정밀하게 쌓는 TC 본더를 공급합니다. HBM4용 장비 공급계약이 공시된 바 있습니다.
• 테크윙 — HBM 검사 장비
  적층 HBM을 테스트하는 Cube Prober를 개발해 양산 수주 사실을 공식적으로 알렸습니다.

‘HBM 관련주’라는 이름만으로 묶인 기업은 실제 매출 발생 여부, 고객 인증, 양산 납품 여부와 HBM 매출 비중을 구분해서 확인해야 합니다. 개발 중인 장비와 이미 공급 중인 장비는 사업 단계가 전혀 다릅니다.

초보 투자자가 HBM 뉴스를 볼 때 확인할 것

1. 새 AI GPU가 요구하는 메모리 용량과 대역폭은 얼마나 늘었는가?
2. HBM3E에서 HBM4·HBM4E로 세대 전환이 어디까지 진행됐는가?
3. 적층수가 늘면서 수율과 발열, 전력 효율은 어떻게 달라지는가?
4. GPU와 HBM을 연결하는 패키징 생산능력이 충분한가?
5. 장비·소재 기업의 기술이 개발 단계인지 실제 양산 공급 단계인지 확인했는가?

AI 반도체 산업에서는 병목이 이동할 때마다 새로운 기술과 공급망이 등장합니다. GPU가 빨라지자 메모리 대역폭이 중요해졌고, HBM이 발전하자 이제 패키징과 열관리, 칩 간 연결이 다음 문제로 떠오르고 있습니다.

HBM, 이것만 기억하자

• HBM은 GPU에 대량의 데이터를 한꺼번에 전달하는 고대역폭 메모리입니다.
• 여러 DRAM 다이를 수직으로 쌓고 TSV로 연결합니다.
• 핵심은 단순 속도가 아니라 넓은 대역폭입니다.
• AI 학습뿐 아니라 대규모 추론에서도 중요성이 커지고 있습니다.
• HBM의 발전은 첨단 패키징과 열관리 기술로 이어집니다.

GPU가 AI의 두뇌라면 HBM은 그 두뇌가 쉬지 않고 계산하도록 데이터를 공급하는 초고속 물류망입니다.

다음 편: 첨단 패키징

GPU와 HBM은 어떻게 하나의 AI 반도체처럼 연결될까요? 다음 편에서는 CoWoS, 인터포저와 2.5D 패키징이 AI 반도체 시장에서 계속 등장하는 이유를 초보자 눈높이에서 살펴봅니다.

참고자료

• 삼성반도체 HBM 기술자료
• 삼성전자 HBM4 양산 출하 발표
• SK하이닉스 HBM4 개발·양산 준비 발표
• SK하이닉스 12단 HBM4E 샘플 발표
• Micron HBM4 기술자료
• NVIDIA H200 기술 사양
• NVIDIA Rubin 플랫폼과 HBM4

※ 본 글에서 언급한 기업은 HBM 기술과 관련 산업 생태계를 이해하기 위한 사례입니다. 특정 기업 또는 종목에 대한 매수·매도 추천이나 투자 권유를 목적으로 하지 않습니다.