AI GPU의 성능이 높아질수록 데이터센터가 해결해야 할 문제는 계산이 아니라 열이 됩니다. 랙 하나가 수백 kW를 소비하면 같은 양의 에너지가 결국 열로 바뀝니다. 팬으로 찬 공기를 불어 넣는 기존 방식만으로는 칩 표면의 열을 빠르게 제거하기 어려워집니다.
액체는 공기보다 같은 부피에서 훨씬 많은 열을 운반할 수 있습니다. 그래서 최신 AI 시스템은 GPU와 CPU 위의 콜드플레이트에 냉각수를 흘려 열을 직접 가져오는 직접수냉(Direct-to-Chip) 구조를 사용합니다.
공랭식 냉각은 왜 한계에 부딪힐까?
공랭식 데이터센터는 차가운 공기를 서버 전면으로 보내고 뜨거워진 공기를 후면에서 회수합니다. 비교적 단순하고 관리 경험이 많지만, 랙 밀도가 높아지면 막대한 풍량과 팬 전력이 필요하고 랙 내부의 국부적인 고온 지점을 제어하기 어려워집니다.
GPU가 한 랙에 집약된 NVL72 같은 시스템은 서버 한 대가 아니라 랙 전체를 하나의 컴퓨터처럼 설계합니다. NVIDIA 공식 구조에서 GB300 NVL72는 72개의 Blackwell Ultra GPU와 36개의 Grace CPU를 액체냉각 랙에 통합합니다.
콜드플레이트와 CDU는 어떤 역할을 할까?
콜드플레이트는 GPU·CPU 표면에 밀착한 금속 열교환기입니다. 내부의 미세 유로로 냉각수가 흐르며 칩에서 발생한 열을 흡수합니다. 데워진 냉각수는 CDU(Cooling Distribution Unit)로 이동합니다.
CDU는 서버 쪽의 깨끗한 기술 냉각수 루프와 건물의 시설수 루프 사이에서 열을 교환합니다. 두 물길을 분리해 수질과 압력을 관리하고 펌프, 필터, 센서, 누수 감지와 제어 기능을 제공합니다. NVIDIA DSX 설계는 CDU 그룹을 N+1 구조로 두고 유지보수 중에도 냉각을 지속하는 방식을 제시합니다.
액체냉각도 공기를 완전히 없애지는 않는다
GPU와 CPU는 액체로 식혀도 메모리 모듈, 전원부, SSD, 네트워크 장치 등 일부 부품은 여전히 공기 흐름이 필요할 수 있습니다. 그래서 실제 AI 데이터센터는 직접수냉과 공랭을 함께 사용하는 하이브리드 구조가 일반적입니다.
NVIDIA의 시설 설계는 CDU가 GPU 콜드플레이트용 2차 루프를 담당하고, CRAH가 데이터홀의 나머지 장비와 공간을 공랭하는 구성을 설명합니다. 핵심은 액체와 공기 중 하나를 고르는 것이 아니라 각 부품의 열 특성에 맞게 냉각 방식을 조합하는 것입니다.
데이터센터 설계가 칩과 함께 움직인다
과거에는 서버를 선택한 뒤 기존 전산실에 설치하는 방식이 가능했습니다. 하지만 초고밀도 AI 랙은 전력과 냉각 인프라를 사전에 준비하지 않으면 반입조차 어렵습니다. 배관 직경, 유량, 수온, 열교환기와 펌프 용량, 바닥 하중, 누수 대응까지 컴퓨팅 시스템과 동시에 설계해야 합니다.
NVIDIA DSX의 45°C 냉각 설계점은 따뜻한 냉각수를 활용해 일부 환경에서 기계식 냉동 의존도를 낮추고, 증발식 냉각수 사용 없이 드라이쿨러로 열을 방출할 수 있는 방향을 보여줍니다. 실제 적용은 지역 기후와 시설 설계에 따라 달라집니다.
핵심 정리
- 고밀도 GPU 랙은 공랭만으로 열을 처리하기 어려워 직접수냉이 중요해집니다.
- 콜드플레이트는 칩의 열을 냉각수로 직접 옮깁니다.
- CDU는 서버 냉각수와 시설수를 분리하면서 열교환·펌프·제어를 담당합니다.
- 실제 시설은 액체냉각과 공랭을 함께 사용하는 하이브리드 구조입니다.
- AI 데이터센터는 칩, 전력, 냉각을 처음부터 공동 설계해야 합니다.
이전 글: AI 데이터센터② — 왜 전기를 구하기 어려울까?
다음 편 예고: AI 데이터센터④에서는 광통신과 CPO가 왜 GPU 클러스터의 다음 병목으로 떠오르는지 살펴봅니다.
액체냉각은 배관을 연결하는 순간 끝나는 기술이 아니다
직접수냉의 성능은 콜드플레이트 하나보다 전체 열 경로에서 결정된다. 칩에서 냉각수로 열이 전달되고, CDU의 열교환기를 거쳐 시설수로 이동한 뒤 외부에서 방출된다. 어느 구간의 유량·온도·압력 관리가 부족해도 GPU가 허용 온도를 넘거나 성능을 낮출 수 있다.
운영 단계에서는 네 가지를 함께 봐야 한다. 기술 냉각수의 수질과 재료 호환성, 누수 감지와 차단 범위, 펌프·CDU의 이중화, 서버 교체 때 냉각수를 안전하게 분리하는 절차다. 특히 배관 공사 뒤 세척과 플러싱이 충분하지 않으면 작은 이물질도 미세 유로를 막을 수 있다.
또한 ‘액체냉각’과 ‘물을 많이 사용한다’는 문장은 같은 뜻이 아니다. 칩에서 열을 액체로 회수하는 방식과 시설 외부에서 그 열을 방출하는 방식은 구분해야 한다. 드라이쿨러, 냉각탑, 지역 기후와 공급수 온도에 따라 현장의 물 사용량과 효율이 달라진다.
운영 판단 기준: 열회수 비율, 공급·환수 온도, CDU 이중화, 수질 관리, 누수 대응, 시운전 기록을 함께 확인한다.
추가 원자료: ASHRAE Water-Cooled Servers 설계 안내 · ASHRAE 시운전·성능 검증 기준
참고자료
※ 본 글은 산업 기술을 설명하기 위한 정보형 콘텐츠이며 특정 종목의 매수·매도 권유가 아닙니다.