AI 모델이 커질수록 한 개의 GPU만으로 학습하기는 어렵습니다. 수십·수백 개의 GPU가 계산에 참여하지만 숫자만 늘린다고 시스템이 빨라지지는 않습니다. 한 GPU의 결과를 다른 GPU가 빠르게 받아야 하고, 메모리에서 데이터를 가져오며, CPU와 가속기 사이에서도 작업을 효율적으로 분배해야 합니다.

연결 속도가 계산 속도를 따라가지 못하면 비싼 GPU들이 데이터를 기다립니다. 도로에 스포츠카를 수백 대 올려도 도로와 교차로가 막히면 도시 전체는 빨라지지 않는 것과 같습니다. NVLink와 CXL은 AI 시스템의 서로 다른 구간에서 이 연결 문제를 해결합니다.

CXL NVLink AI 서버 연결 구조
AI 시스템의 성능은 GPU 숫자뿐 아니라 연산·메모리·가속기를 잇는 연결망에서 완성된다. 불마켓 제작

NVLink: GPU를 하나의 거대한 계산 집단으로

NVIDIA NVLink는 GPU 사이의 고대역폭 통신을 위해 개발된 인터커넥트입니다. 일반 PCIe보다 GPU 간 직접 통신에 최적화됐으며, NVLink Switch와 결합하면 여러 GPU가 서로 빠르게 데이터를 교환하는 하나의 GPU 도메인을 구성할 수 있습니다.

NVIDIA 공식 자료 기준으로 Blackwell 세대의 5세대 NVLink는 GPU당 1,800GB/s의 양방향 대역폭을 제공합니다. Rubin 플랫폼의 6세대 NVLink는 GPU당 3,600GB/s, 즉 3.6TB/s를 제시하며 이는 현재 예비 사양입니다.

대규모 AI 학습에서는 하나의 모델을 여러 GPU에 나누고 중간 결과와 모델 파라미터를 계속 교환합니다. GPU 간 통신 시간이 길어질수록 병렬 연산 효율이 떨어지므로, 가속기 경쟁은 칩 연산 성능뿐 아니라 여러 GPU를 얼마나 효율적으로 묶는지까지 포함합니다.

NVLink Switch GPU 연결 구조
NVLink는 여러 GPU 사이의 고속 데이터 교환을 담당해 대규모 병렬 연산 효율을 높인다. 불마켓 제작

CXL: 메모리와 가속기를 유연하게 연결하는 표준

CXL(Compute Express Link)은 CPU, 메모리 확장 장치와 가속기 사이에서 캐시와 메모리를 일관되게 다루기 위한 개방형 인터커넥트입니다. PCIe 물리 계층을 활용하면서 CPU 메모리 공간과 장치 메모리 사이의 일관성(coherency)을 제공하는 것이 중요한 특징입니다.

기존 서버에서는 CPU에 장착된 메모리가 해당 서버에 고정되는 경우가 많았습니다. 하지만 서버마다 사용량이 달라 어떤 서버에는 메모리가 남고 다른 서버에는 부족할 수 있습니다. CXL은 메모리 확장과 풀링을 통해 필요한 호스트에 자원을 더 유연하게 배분하는 구조를 지원합니다.

CXL 메모리 풀링 구조
CXL은 메모리를 특정 서버에만 고정하지 않고 풀 형태로 관리하는 데이터센터 구조를 지원한다. 불마켓 제작

CXL 4.0에서 달라진 점

CXL Consortium은 2025년 11월 CXL 4.0을 발표했고 2026년에는 평가본을 제공하고 있습니다. CXL 4.0은 이전 세대의 64GT/s에서 128GT/s로 속도를 두 배 높이고, 여러 포트를 묶는 bundled port와 메모리 RAS 기능을 강화했습니다.

중요한 것은 버전 번호 자체보다 데이터센터가 CPU·메모리·가속기 자원을 고정된 부품 묶음이 아니라 필요에 따라 조합 가능한 자원으로 보기 시작했다는 점입니다.

NVLink와 CXL은 같은 문제를 풀지 않는다

두 기술을 단순히 누가 더 빠른지로 비교하면 핵심을 놓칩니다. NVLink는 NVIDIA GPU 간 고속 연결과 GPU 도메인 확장에 강점이 있는 독자 인터커넥트입니다. CXL은 여러 업체가 참여하는 개방형 표준으로 CPU·메모리·가속기 사이의 메모리·캐시 일관성과 자원 확장에 초점을 둡니다.

실제 서버에서는 서로 다른 계층과 목적을 담당하며 함께 존재할 수 있습니다. 빠른 GPU 간 통신에는 NVLink, 메모리 확장과 자원 풀링에는 CXL이 각각 다른 역할을 수행합니다.

UCIe까지 함께 보면 연결 계층이 보인다

5편에서 살펴본 UCIe는 하나의 패키지 안에서 칩렛과 칩렛을 연결하는 표준을 지향합니다. NVLink는 주로 GPU 사이의 고속 통신, CXL은 CPU·메모리·가속기 자원의 확장을 담당합니다. 그 바깥에서는 Ethernet이나 InfiniBand가 서버와 서버, 랙과 랙을 연결합니다.

AI 인프라는 패키지 내부, 서버 내부, 랙과 데이터센터 네트워크까지 여러 층의 연결 기술이 겹쳐 만들어집니다. 한 기술이 모든 구간을 대체하는 구조가 아닙니다.

경쟁 단위가 칩에서 시스템으로 커진다

초기 반도체 경쟁은 더 작은 공정에서 더 빠른 CPU나 GPU를 만드는 데 초점이 있었습니다. 그러나 AI 시대에는 하나의 칩만으로 실제 성능을 설명하기 어렵습니다.

GPU 옆에는 HBM이 필요하고, 둘을 묶으려면 첨단 패키징이 필요합니다. 단일 다이 한계를 넘기 위해 칩렛을 사용하고, 칩렛 사이에는 다이투다이 인터커넥트가 필요합니다. 여러 가속기를 함께 쓰려면 다시 NVLink와 CXL 같은 시스템 연결 기술이 필요합니다.

결국 AI 데이터센터는 하나의 초대형 컴퓨터에 가까워지고 있습니다. 가장 빠른 부품 하나보다 연산·메모리·연결·전력·냉각이 얼마나 균형 있게 설계됐는지가 중요합니다.

AI 반도체 6편을 다시 연결하면

이 시리즈는 “AI는 왜 GPU를 사용하는가?”에서 시작했습니다. GPU가 빠르게 계산하려면 HBM이 필요했고, GPU와 HBM을 가까이 배치하기 위해 첨단 패키징이 중요해졌습니다. 거대한 다이의 한계를 넘기 위해 칩렛이 등장했고, 나뉜 다이를 연결하기 위해 UCIe 같은 다이투다이 인터커넥트가 주목받았습니다.

마지막으로 여러 GPU와 CPU, 메모리를 하나의 시스템처럼 움직이기 위해 NVLink와 CXL이 필요해졌습니다. AI 반도체 산업은 단순히 GPU 판매량이 늘어나는 산업이 아니라 연산 장치, 메모리, 패키징과 연결 기술이 함께 움직이는 생태계입니다.

AI 반도체 기술 6편 로드맵
GPU에서 시작한 AI 반도체 기술 흐름은 메모리·패키징·칩렛을 지나 시스템 연결로 확장된다. 불마켓 제작

초보 투자자가 연결 기술 뉴스를 볼 때 확인할 것

  • 기술의 적용 범위가 패키지·서버·랙 중 어디인가
  • 대역폭뿐 아니라 지연시간과 전력 효율은 어떤가
  • 공개 표준인지 특정 업체의 독자 기술인지
  • 메모리 풀링과 공유가 실제 제품에서 지원되는가
  • 공식 규격과 예비 사양, 실제 양산 제품을 구분했는가
  • 칩 성능과 시스템 전체 성능을 혼동하지 않았는가

핵심 정리

  • NVLink는 여러 NVIDIA GPU를 고속 연결해 병렬 연산 효율을 높입니다.
  • CXL은 CPU·메모리·가속기의 일관된 연결과 메모리 확장·풀링을 지원하는 개방형 표준입니다.
  • NVLink와 CXL은 단순 경쟁 기술이 아니라 목적과 적용 계층이 다릅니다.
  • UCIe에서 NVLink·CXL, 데이터센터 네트워크로 갈수록 연결 범위가 넓어집니다.
  • AI 반도체의 경쟁 단위는 개별 칩에서 전체 시스템 설계로 커지고 있습니다.

AI 시대에는 가장 빠른 칩 하나보다 수많은 칩과 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 시스템 성능을 결정합니다.

AI 반도체 기술 시리즈 전체 보기

다음 산업·기술 시리즈

AI 반도체 6편 시리즈는 여기서 마칩니다. 다음에는 AI 데이터센터 인프라를 중심으로 전력 공급, 액체냉각, 광통신·CPO, 데이터센터 네트워크, UPS·ESS와 전력망 병목을 살펴볼 수 있습니다.

인터커넥트는 이름보다 연결 범위를 먼저 봐야 한다

NVLink와 CXL은 모두 고속 연결 기술이지만 같은 문제를 해결하지 않습니다. NVLink는 주로 NVIDIA GPU와 GPU, CPU 사이의 고대역폭 scale-up 연결에 쓰입니다. CXL은 PCIe 물리계층을 바탕으로 CPU·가속기·메모리 사이에 I/O, 캐시 일관성, 메모리 의미를 제공하는 개방형 표준입니다. 제품을 비교할 때는 속도 숫자보다 무엇과 무엇을 어느 거리에서 연결하는지 먼저 구분해야 합니다.

AI 반도체 공급망은 GPU 다이만으로 완성되지 않습니다. HBM, 첨단 패키징, 기판, 다이투다이 PHY, 시스템 인터커넥트, 펌웨어와 소프트웨어가 함께 검증돼야 출하 가능한 시스템이 됩니다. 특정 부품의 생산능력이 늘어도 다른 계층의 인증과 수율이 따라오지 못하면 완제품 공급은 제한됩니다.

종합 판단 기준

  • 발표된 성능이 칩·패키지·서버·랙 중 어느 범위인가
  • 폐쇄형 고성능 연결과 개방형 호환성 중 무엇을 우선하는가
  • HBM과 패키징의 실제 양산 수율이 확보됐는가
  • 하드웨어를 활용할 컴파일러·라이브러리가 준비됐는가
  • 한 공급업체 장애를 대체할 설계 선택권이 있는가

추가 원자료: UCIe Consortium Specifications, CXL Consortium Overview

참고자료

※ 본 글은 AI 반도체와 데이터센터 연결 기술을 이해하기 위한 정보형 콘텐츠입니다. 특정 기업 또는 종목에 대한 매수·매도 추천이나 투자 권유를 목적으로 하지 않습니다.