AI 냉각② — Direct-to-Chip: GPU에 냉각판을 직접 붙이는 시대

이전 글: AI 냉각① — HVAC·공랭: 기존 데이터센터는 어떻게 열을 식혔나?

전통적인 공랭 서버에서는 GPU가 만든 열이 히트싱크로 이동하고, 팬이 그 열을 공기로 옮긴 뒤, 데이터센터 공조설비가 다시 그 공기를 냉각한다. 열이 여러 단계를 거쳐 이동하는 셈이다.

Direct-to-Chip Liquid Cooling은 이 과정을 크게 줄인다. GPU와 CPU처럼 가장 뜨거운 칩 위에 금속 Cold Plate를 직접 붙이고 그 안으로 냉각수를 흘려 열을 바로 가져간다.

물은 공기보다 열을 운반하는 능력이 훨씬 크기 때문에 같은 열을 더 작은 유량과 공간으로 처리할 수 있다. 이것이 100kW가 넘는 고밀도 AI 랙에서 액체냉각이 사실상 필수 기술로 떠오른 이유다.

Cold Plate는 무엇인가?

Cold Plate는 GPU나 CPU 위에 밀착시키는 금속 열교환기다. 보통 구리나 알루미늄 계열 재료를 사용하고 내부에 미세한 유로가 만들어져 있다.

칩에서 발생한 열은 Thermal Interface Material을 거쳐 Cold Plate로 이동하고, 내부를 흐르는 냉각수가 그 열을 흡수한다. 뜨거워진 냉각수는 다시 랙 밖으로 이동해 열을 버린 뒤 되돌아온다.

공랭의 히트싱크가 ‘열을 공기로 전달하는 판’이라면 Cold Plate는 ‘열을 액체로 직접 전달하는 판’이라고 생각하면 쉽다.

Direct-to-Chip의 전체 냉각수 흐름

Direct-to-Chip 시스템은 Cold Plate 하나만으로 완성되지 않는다.

GPU/CPU → Cold Plate → Rack Manifold → CDU → Facility Water Loop → Fluid Cooler 또는 Chiller라는 전체 순환구조가 필요하다.

Rack Manifold는 여러 서버에서 나오는 냉각수 호스를 하나로 모아 분배한다. CDU는 IT 장비 내부의 냉각수 회로와 건물의 냉수 회로 사이에서 열을 전달하고 유량·온도·압력을 관리한다.

따라서 액체냉각을 도입한다는 것은 단순히 서버에 물을 넣는 것이 아니라 데이터센터 전체에 새로운 ‘냉각수 배관망’을 추가하는 일이다.

CDU는 왜 액체냉각의 핵심 장비일까?

CDU는 Coolant Distribution Unit의 약자다. 쉽게 말하면 액체냉각 시스템의 펌프실이자 배전반이다.

IT 장비의 냉각수와 시설 측 냉각수가 직접 섞이지 않도록 열교환기를 사이에 두고 두 개의 회로를 분리한다. 동시에 펌프로 필요한 유량을 만들어주고, 온도·압력·유량을 실시간으로 감시한다.

누수가 발생하거나 펌프가 고장 나면 수억원대 GPU가 위험해질 수 있기 때문에 CDU의 신뢰성과 이중화가 매우 중요하다. 최근 Vertiv와 Schneider Electric이 CDU 제품군을 대폭 확대하는 이유도 AI 랙의 열밀도가 빠르게 올라가기 때문이다.

NVIDIA GB300 NVL72가 보여주는 현재

NVIDIA GB300 NVL72는 72개의 Blackwell Ultra GPU와 36개의 Grace CPU를 하나의 랙 스케일 시스템으로 묶는다. NVIDIA는 이 시스템을 fully liquid-cooled architecture로 설명한다.

슈나이더 일렉트릭의 2026년 GB300 레퍼런스 디자인은 liquid-to-liquid CDU와 고온 냉동기 또는 adiabatic fluid cooler를 사용해 AI 데이터홀 전체를 설계한다. 즉 액체냉각은 더 이상 실험적인 옵션이 아니라 최신 GPU 플랫폼을 실제 데이터센터에 설치하기 위한 표준 설계요소로 들어가고 있다.

Vertiv도 2026년 DGX GB300 설치 사례에서 전력, 액체냉각, 랙, 설치서비스를 하나의 통합 인프라로 제공했다.

왜 냉각수 온도를 너무 낮출 필요가 없을까?

Cold Plate가 칩의 열을 직접 받으면 공기처럼 큰 온도차가 없어도 열을 효율적으로 이동시킬 수 있다.

그래서 최신 AI 시스템은 냉각수 공급온도를 과거보다 높게 설계하는 방향으로 발전한다. NVIDIA는 Vera Rubin 세대에서 최대 약 45°C 냉각수 운전을 강조한다.

냉각수 온도가 높아지면 외기와의 온도차가 커져 냉동기 압축기를 덜 사용할 수 있다. 경우에 따라 Dry Cooler나 Fluid Cooler만으로 열을 배출하는 economizer 운전시간이 늘어난다.

즉 Direct-to-Chip은 단순히 칩을 더 잘 식히는 기술이 아니라 데이터센터 전체 냉각 전력을 줄일 수 있는 기반기술이다.

누수는 정말 위험하지 않을까?

액체와 전자장비를 함께 사용한다고 하면 가장 먼저 떠오르는 걱정은 누수다.

Direct-to-Chip 시스템에서는 누수 위험을 줄이기 위해 quick disconnect, dripless connector, leak sensor, 압력 모니터링을 사용한다. 랙 내부 manifold와 호스도 유지보수 중 분리·재결합을 고려해 설계된다.

또 IT 측 냉각수는 전기전도도와 부식, 미생물 발생 등을 관리해야 한다. 냉각수 품질이 나쁘면 Cold Plate의 미세유로가 막히거나 금속 부식이 발생할 수 있다.

따라서 액체냉각은 단순 기계설비가 아니라 센서와 제어소프트웨어, 수질관리까지 포함한 운영기술이다.

Direct-to-Chip만으로 모든 열을 제거할 수 있을까?

현재 대부분의 Direct-to-Chip 시스템은 GPU와 CPU의 주요 열을 액체로 제거하지만 랙 전체 열의 100%를 처리하지는 않는다.

메모리, SSD, NIC, 전원부 등 일부 부품은 여전히 공기로 열을 배출한다. 그래서 남은 열은 서버 팬과 CRAH, 또는 Rear-Door Heat Exchanger가 처리한다.

이 때문에 최신 시설은 ‘액체냉각 vs 공랭’의 선택이 아니라 두 방식을 어떻게 조합하느냐가 중요하다. 액체가 높은 열밀도를 담당하고 공기가 잔여 열과 실내 환경을 관리하는 Hybrid Cooling이 현실적인 구조다.

랙당 100kW를 넘으면 무엇이 달라질까?

전통적인 데이터센터는 한 랙에 전력과 냉각을 조금씩 추가하는 방식으로 확장할 수 있었다. 하지만 100kW 이상 랙에서는 전력 케이블, 버스웨이, 배관, 바닥하중, 물 공급, 유지보수 공간까지 모두 다시 설계해야 한다.

냉각수의 유량과 압력도 크게 증가한다. 하나의 CDU가 몇 개 랙을 담당할지, CDU를 랙 내부에 넣을지 열마다 설치할지, 시설 냉수 배관을 어디까지 끌고 갈지에 따라 데이터센터 설계가 달라진다.

그래서 AI 데이터센터는 서버 구매와 건축·기계·전기 설계를 별도로 진행하기 어렵다. GPU 세대가 바뀌면 시설설계도 함께 바뀌는 시대가 된 것이다.

다음 단계는 ‘열을 어디서 잡느냐’의 경쟁

Direct-to-Chip은 열원인 GPU에 매우 가까이 접근한다. 그러나 기존 데이터센터를 전면 개조하기 어려운 경우에는 다른 방법도 필요하다.

그중 하나가 Rear-Door Heat Exchanger다. 기존 서버의 팬이 뿜어내는 뜨거운 공기를 랙 뒤쪽 문에서 바로 냉수로 잡아낸다.

다음 편에서는 RDHx가 왜 기존 공랭 시설에서 액체냉각으로 넘어가는 ‘다리’ 역할을 하는지, 그리고 Direct-to-Chip과 어떻게 함께 사용되는지 살펴본다.

핵심 정리

AI 랙의 열밀도가 높아지면서 냉각은 데이터센터의 핵심 설계조건이 되었다.
현재 상용화된 기술과 차세대 연구기술을 구분해 설명해야 한다.
Direct-to-Chip의 핵심은 GPU 열을 공기로 보낸 뒤 식히는 것이 아니라, 칩 바로 위에서 액체가 열을 직접 가져가는 것이다.

Direct-to-Chip의 핵심은 GPU 열을 공기로 보낸 뒤 식히는 것이 아니라, 칩 바로 위에서 액체가 열을 직접 가져가는 것이다.

같이 읽기

콜드플레이트만 붙이면 액체냉각이 완성되는 것은 아니다

Direct-to-Chip은 GPU·CPU 위의 콜드플레이트가 열을 냉각수로 직접 옮깁니다. 하지만 메모리, 전원부, 네트워크 장치 등 액체로 포집되지 않는 열은 여전히 공기로 제거해야 합니다. 따라서 ‘열포집률’과 잔여 공랭 부하를 함께 계산해야 시설 냉각용량을 정확히 정할 수 있습니다.

CDU는 IT측 냉각수와 시설측 물 회로 사이에서 열을 교환하고 유량·압력·온도를 제어합니다. 실제 신뢰성은 콜드플레이트 성능뿐 아니라 수질, 부식과 미생물 관리, 호스·퀵커넥터 수명, 누수 감지, 펌프 이중화에 좌우됩니다. 공급수 온도를 높이면 chiller 사용을 줄일 가능성이 있지만 부품별 허용온도와 최악 조건을 먼저 검증해야 합니다.

시운전 체크리스트

최대 GPU 부하에서 각 랙의 유량과 압력손실
CDU 또는 펌프 한 계통 고장 시 열 제거 능력
냉각수 화학성분과 재질 호환성
누수 감지 후 밸브 차단·서버 보호 절차
액체가 포집하지 못한 열을 처리할 공랭 용량

추가 원자료: ASHRAE AI Data Center Integrated Design Principles, U.S. DOE — Direct Liquid Cooling and Water Efficiency

참고자료

※ 본 글은 산업 기술을 설명하기 위한 정보형 콘텐츠이며 특정 종목의 매수·매도 권유가 아닙니다.