서버에 꽂힌 메모리는 그 서버만 써야 할까?
호텔 객실마다 혹시 필요할지 모른다고 여분 침대를 하나씩 넣어두면 사용하지 않는 침대가 많아집니다. 필요할 때 공용 창고에서 가져다 쓸 수 있다면 훨씬 효율적이겠죠. CXL이 만들려는 ‘메모리 확장과 풀링’이 바로 이 생각과 비슷합니다.
전통적인 서버에서는 CPU에 연결된 DRAM을 그 서버가 독점적으로 사용한다. 한 서버에 메모리가 남아도 옆 서버가 부족하다고 빌려 쓸 수 없다.
이 구조는 AI 시대에 비효율적일 수 있다. 어떤 노드는 메모리가 남고 어떤 노드는 부족하며, 큰 모델은 한 서버의 DRAM 용량을 넘어설 수 있다.
CXL(Compute Express Link)은 CPU와 가속기, 외부 메모리를 고속으로 연결하면서 서로 같은 메모리 내용을 보고 있다고 맞춰주는 연결 규칙이다. 전문적으로는 cache coherency를 지원하는 interconnect라고 부르지만, 처음에는 “외부 메모리를 서버가 자기 메모리처럼 더 자연스럽게 쓰게 해주는 연결기술”이라고 이해하면 충분하다.
2025년 말 공개된 CXL 4.0은 128GT/s로 대역폭을 두 배로 높였고, 2026년에는 대규모 서버 환경에서 CXL을 활용한 shared memory와 hyperscale efficiency가 더 중요한 주제로 떠오르고 있다.
CXL은 PCIe와 무엇이 다를까?
PCIe가 장치를 연결하는 고속도로라면, CXL은 그 도로 위에서 ‘이 메모리를 내 메모리처럼 써도 된다’는 약속까지 추가한 규칙입니다. 그래서 CPU가 외부 메모리를 단순 주변기기가 아니라 메모리 공간처럼 다룰 수 있습니다.
CXL은 PCIe의 물리 계층을 활용하지만 그 위에 메모리와 cache coherency를 위한 프로토콜을 추가한다.
일반적인 PCIe 장치는 CPU 입장에서 I/O 장치다. CXL memory device는 CPU가 자신의 메모리 공간처럼 더 직접적으로 접근할 수 있다.
CXL.io, CXL.cache, CXL.mem이라는 세 가지 주요 프로토콜이 있으며 장치 유형에 따라 필요한 기능을 사용한다.
AI 인프라에서 특히 중요한 것은 CXL.mem이다. CPU가 CXL로 연결된 외부 메모리를 load/store 방식으로 접근할 수 있게 한다.
Memory Expansion은 무엇인가?
노트북의 메모리 슬롯이 부족할 때 외장 메모리를 붙여 용량을 늘린다고 생각하면 됩니다. 실제 구현은 훨씬 복잡하지만, 핵심은 서버 본체의 DIMM만으로 부족한 메모리를 CXL 장치로 추가하는 것입니다.
가장 단순한 CXL 사용 사례는 서버의 DRAM을 확장하는 것이다.
CPU의 DIMM 슬롯만으로 필요한 메모리를 채우기 어렵거나 더 저렴한 대용량 메모리를 추가하고 싶을 때 CXL Type 3 memory device를 연결할 수 있다.
운영체제는 이 메모리를 로컬 DRAM보다 조금 느린 별도의 메모리 층으로 관리할 수 있다. 전문적으로 NUMA tier라는 표현을 쓰지만, 쉽게 말해 “빠른 서랍과 조금 느린 추가 서랍을 구분해 쓰는 것”이다.
자주 접근하는 데이터는 빠른 로컬 DRAM에 두고 덜 자주 사용하는 데이터는 CXL memory에 두는 tiering이 가능하다.
NVMe SSD보다 훨씬 빠르면서 로컬 DRAM보다 상대적으로 느리고 저렴한 새로운 중간 계층이 생기는 것이다.
Memory Pooling은 왜 더 큰 변화인가?
각 부서가 복사기를 한 대씩 사두는 대신 공용 복사실을 만들고 필요한 부서가 사용하면 놀고 있는 장비가 줄어듭니다. CXL Memory Pooling도 여러 서버가 하나의 큰 메모리 자원을 필요에 따라 나눠 쓰려는 개념입니다.
Memory pooling은 여러 서버가 하나의 메모리 pool에서 필요한 만큼 용량을 할당받는 개념이다.
서버 A는 2TB가 필요하고 서버 B는 500GB만 필요하다면 물리적으로 각 서버에 최대치만큼 DIMM을 꽂는 대신 CXL switch 뒤의 메모리 pool을 나눠 사용할 수 있다.
이렇게 하면 stranded memory, 즉 사용되지 않고 놀고 있는 메모리를 줄일 수 있다.
클라우드 사업자 입장에서는 같은 물리자원으로 더 많은 workload를 배치할 수 있어 데이터센터 자본효율이 좋아질 수 있다.
CXL 4.0에서 무엇이 달라졌을까?
128GT/s 같은 숫자를 외울 필요는 없습니다. 핵심은 이전 세대보다 한 번에 더 많은 데이터를 옮길 수 있게 되었고, 여러 연결을 묶어 더 넓은 통로를 만들 수 있게 됐다는 점입니다.
CXL 4.0은 PCIe 7.0 기반으로 데이터 전송률을 64GT/s에서 128GT/s로 두 배 높였다.
또 Bundled Ports를 도입해 여러 물리 포트를 하나의 논리적 연결로 묶어 더 높은 대역폭을 확보할 수 있다.
메모리 RAS 기능도 강화됐다. 데이터센터에서는 성능만큼 오류를 감지하고 고장난 메모리를 서비스 중단 없이 관리하는 능력이 중요하기 때문이다.
CXL 4.0은 이전 3.x, 2.0, 1.x 세대와의 하위호환성도 유지한다.
다만 최신 규격이 발표됐다고 모든 서버가 즉시 CXL 4.0을 사용하는 것은 아니다. 실제 플랫폼 도입은 CPU, switch, memory device 생태계의 세대교체와 함께 진행된다.
AI에서 CXL 메모리는 어디에 쓰일까?
가장 자주 쓰는 것은 GPU 바로 옆 HBM, 그다음은 서버 DRAM, 덜 급한 것은 CXL 메모리, 훨씬 큰 데이터는 NVMe SSD에 둡니다. 모두 같은 속도일 필요는 없습니다. 중요한 것은 필요한 데이터를 알맞은 서랍에 두는 것입니다.
AI 학습과 추론에서는 모델 weight, embedding, KV Cache, preprocessing buffer 등 많은 메모리가 필요하다.
HBM은 가장 빠르지만 매우 비싸고 용량이 제한적이다. CPU DRAM은 더 크지만 GPU에서 멀다. NVMe SSD는 용량은 크지만 지연시간이 높다.
CXL memory는 이 사이에 새로운 tier를 만들 수 있다.
예를 들어 GPU에서 당장 사용하지 않는 KV Cache 일부를 host/CXL memory로 이동하거나, 대형 embedding table과 CPU-side inference data를 CXL pool에 둘 수 있다.
결국 AI memory hierarchy는 HBM → local DRAM → CXL memory → NVMe SSD라는 더 세분화된 구조로 발전할 수 있다.
CXL memory가 HBM을 대체할까?
아닙니다. HBM은 ‘책상 위 메모장’, CXL은 ‘옆 서랍장’에 가깝습니다. 둘은 경쟁하기보다 서로 다른 속도와 용량을 담당합니다.
그렇지 않다.
HBM은 GPU 바로 옆에서 수 TB/s 수준의 대역폭을 제공하는 초고속 메모리다. CXL memory가 같은 역할을 하기는 어렵다.
CXL의 장점은 용량과 유연성이다. 모든 데이터를 HBM에 넣을 수 없을 때 더 느리지만 훨씬 큰 메모리를 연결하는 것이다.
따라서 HBM과 CXL은 경쟁보다 계층관계에 가깝다.
AI 시스템이 커질수록 가장 빠른 데이터를 HBM에 두고 그 아래 계층에 CXL과 SSD를 배치하는 intelligent tiering이 중요해진다.
Memory Pooling의 어려움도 있다
메모리를 공유하면 자원활용률은 좋아지지만 지연시간과 대역폭이 일정하지 않을 수 있다.
여러 서버가 같은 메모리 풀을 동시에 많이 쓰면 서로 통로를 차지하려는 혼잡(contention)이 생길 수 있다. 또한 애플리케이션과 운영체제가 어떤 데이터는 빠른 로컬 메모리에 두고 어떤 데이터는 CXL 쪽에 둘지 제대로 판단해야 한다.
보안과 격리도 중요하다. 서로 다른 고객이 같은 physical memory fabric을 사용할 경우 데이터가 확실히 분리돼야 한다.
CXL switch와 memory controller, orchestration software가 함께 발전해야 하는 이유다.
CXL의 진짜 의미는 ‘메모리를 서버에서 분리하는 것’이다
클라우드 데이터센터는 CPU, GPU, 메모리, 스토리지를 하나의 고정된 서버에 묶어놓는 방식에서 점점 벗어나고 있다.
필요할 때 GPU를 늘리고, 메모리를 추가하고, 스토리지를 공유하는 composable infrastructure가 장기적인 방향이다.
CXL은 특히 메모리를 서버에서 분리해 pool로 만들 수 있는 핵심 표준이다.
다음 편에서는 AI 추론에서 가장 빠르게 커지고 있는 메모리 문제인 KV Cache를 살펴본다.
이 글에서 기억할 핵심
CXL의 핵심은 서버마다 고정된 메모리를 넘어 여러 장치가 용량을 더 유연하게 활용하도록 만드는 데 있습니다. 캐시 일관성, 지연시간, 장애 격리와 실제 상용화 단계를 함께 확인해야 합니다.
- AI 스토리지와 메모리 인프라는 GPU가 데이터를 기다리지 않게 만드는 핵심 시스템이다.
- CXL의 핵심은 HBM을 대체하는 것이 아니라 서버에 고정돼 있던 메모리를 확장·공유 가능한 자원으로 바꿔 AI 시스템의 메모리 활용률을 높이는 것이다.
- 최신 규격과 기술은 상용화 수준과 연구·로드맵 단계를 구분해 설명해야 한다.
한 줄 핵심
CXL의 핵심은 HBM을 대체하는 것이 아니라 서버에 고정돼 있던 메모리를 확장·공유 가능한 자원으로 바꿔 AI 시스템의 메모리 활용률을 높이는 것이다.
같이 읽기
- AI 스토리지② — NVMe·NVMe-oF: AI 서버는 왜 SATA를 넘어섰나?
- AI 스토리지④ — KV Cache: AI 추론 시대의 새로운 메모리 병목
- 불마켓 산업·기술 전체 글 보기
메모리 확장과 풀링은 같은 단계가 아니다
CXL 메모리를 이해하려면 세 가지를 구분해야 합니다. 확장은 한 서버가 로컬 DRAM 밖의 추가 메모리를 사용하는 것이고, 풀링은 여러 호스트가 공용 자원에서 필요한 용량을 할당받는 방식입니다. 공유은 둘 이상의 호스트가 특정 메모리 영역을 함께 활용하는 더 복잡한 구조입니다. 규격이 지원한다고 해서 모든 서버와 운영체제가 세 기능을 동일하게 구현하는 것은 아닙니다.
CXL 메모리는 용량 활용률을 높일 가능성이 있지만 로컬 DRAM과 지연·대역폭 특성이 다릅니다. 데이터가 자주 접근되는지, 순차적인지, NUMA 배치가 가능한지에 따라 효과가 달라집니다. 장애 격리, 오류 보고, 핫플러그, 보안 도메인과 패브릭 관리도 성능만큼 중요합니다. 따라서 ‘메모리를 하나의 풀로 만든다’는 설명 뒤에 실제 소프트웨어 지원과 서비스 수준을 확인해야 합니다.
도입 판단 순서
- 용량 부족 해결인지 활용률 개선인지 목표를 정합니다.
- 워크로드의 로컬 DRAM 대비 지연 민감도를 측정합니다.
- BIOS·커널·하이퍼바이저·관리도구 지원 범위를 확인합니다.
- 장애 격리와 자원 재할당 절차를 검증합니다.
추가 원자료: CXL Consortium — CXL 2.0 Overview, CXL Consortium Resource Library
공식·주요 참고자료
※ 본 글은 산업과 기술 구조를 이해하기 위한 정보형 콘텐츠이며 특정 종목의 매수·매도 추천이나 수익 보장을 목적으로 하지 않습니다.