SSD가 빨라져도 SATA를 쓰면 길이 막힌다
자동차는 스포츠카로 바뀌었는데 도로는 오래된 골목길 그대로라면 속도를 낼 수 없습니다. SSD가 빨라졌는데 HDD 시대의 SATA 방식을 계속 쓰는 문제가 그와 비슷했습니다. NVMe는 플래시 SSD에 맞춰 새로 만든 ‘고속도로’입니다.
SSD가 처음 등장했을 때 많은 시스템은 기존 HDD용 SATA 인터페이스를 그대로 사용했다. 저장매체는 플래시로 빨라졌지만 연결방식은 회전식 디스크 시대의 규격을 계속 쓴 셈이다.
NVMe는 이 문제를 해결하기 위해 만들어졌다. 플래시 메모리의 병렬성과 PCIe의 높은 대역폭을 직접 활용해 더 많은 명령을 동시에 처리한다.
AI 시대에는 NVMe의 역할이 더 커졌다. 대형 모델과 데이터셋을 빠르게 읽고 쓰는 것은 물론, 여러 서버가 원격 NVMe 스토리지를 공유하는 NVMe over Fabrics까지 확대되고 있다.
2026년 7월에는 NVMe Base Specification 2.4가 비준되면서 AI·클라우드·엔터프라이즈 스토리지를 위한 기능이 계속 진화하고 있다.
SATA와 NVMe의 가장 큰 차이는 무엇인가?
SATA는 일을 한 줄로 세워 처리하는 방식에 가깝고, NVMe는 여러 줄을 동시에 열어 많은 요청을 병렬로 처리하는 구조입니다. AI처럼 여러 GPU와 프로세스가 동시에 데이터를 요구할 때 차이가 커집니다.
SATA는 HDD 시대의 AHCI 명령구조를 기반으로 한다. 하나의 command queue에 제한된 수의 명령을 넣는 방식으로 충분했다.
NVMe는 처음부터 NAND Flash와 PCIe를 위해 설계됐다. 여러 개의 queue와 많은 command를 병렬로 처리할 수 있다.
쉽게 말하면 SATA는 한 줄로 계산하는 톨게이트이고 NVMe는 수많은 차선이 동시에 열려 있는 고속도로에 가깝다.
AI 서버처럼 수많은 프로세스와 GPU가 동시에 데이터를 요청하는 환경에서는 이 병렬성이 매우 중요하다.
PCIe Gen5에서 Gen6로 가면 무엇이 달라질까?
NVMe SSD는 PCIe를 통해 CPU와 연결된다.
PCIe Gen4, Gen5, Gen6로 세대가 올라갈수록 링크 대역폭이 증가한다. 2026년에는 PCIe Gen6 기반 데이터센터 SSD가 본격적인 제품 단계로 들어왔다.
Micron 9650은 상용 PCIe Gen6 데이터센터 SSD 가운데 초기 대표 제품으로 AI 학습과 추론 워크로드를 겨냥한다.
속도가 빨라지면 하나의 SSD가 처리할 수 있는 데이터량이 늘어 GPU feeding과 checkpoint 저장시간을 줄일 수 있다.
하지만 SSD 한 개만 빨라지는 것으로는 충분하지 않다. CPU PCIe lane, 스토리지 네트워크, 파일시스템이 그 속도를 함께 받아줘야 한다.
NVMe-oF는 무엇인가?
내 컴퓨터 안의 SSD만 빠른 것이 아니라, 옆 건물의 초고속 SSD도 마치 가까이에 꽂힌 것처럼 쓰고 싶다면 네트워크까지 NVMe 방식으로 이어야 합니다. 이것이 NVMe over Fabrics입니다.
NVMe over Fabrics는 NVMe 명령을 네트워크를 통해 원격 스토리지까지 전달하는 기술이다.
서버 안에 직접 꽂힌 NVMe SSD의 장점을 데이터센터 네트워크 너머까지 확장하는 셈이다.
NVMe-oF는 네트워크로 데이터를 보내는 방법에 따라 여러 방식이 있는데 대표적으로 RDMA와 TCP가 있다. RDMA는 CPU 개입을 줄여 빠른 길을 만드는 방식이고, TCP는 기존 Ethernet 네트워크를 활용하기 쉽다는 장점이 있다.
RDMA 방식은 CPU 개입을 줄이고 낮은 지연시간을 제공해 고성능 AI와 HPC 환경에 적합하다. TCP 방식은 기존 Ethernet 인프라를 활용하기 쉽다는 장점이 있다.
2026년 NVMe over RDMA Transport 1.3과 TCP Transport 1.3이 비준되면서 원격 NVMe 생태계도 계속 발전하고 있다.
AI에서는 왜 ‘공유 스토리지’가 중요할까?
수천 개 GPU 서버마다 데이터셋을 각각 복사하면 엄청난 저장공간이 낭비된다.
공유 스토리지를 사용하면 하나의 데이터셋을 여러 GPU 노드가 동시에 접근할 수 있다. 모델 체크포인트도 중앙 스토리지에 저장해 장애가 난 노드 대신 다른 GPU가 이어받을 수 있다.
문제는 수천 노드가 동시에 접근해도 성능이 떨어지지 않아야 한다는 것이다.
그래서 AI storage appliance는 수십~수백 개 NVMe SSD를 병렬로 묶고, 여러 100G/400G 네트워크 링크를 사용해 aggregate bandwidth를 높인다.
NVMe 2.4에서 무엇을 봐야 할까?
NVMe 2.4는 ‘SSD가 더 빨라졌다’는 한 가지 변화가 아니라, SSD가 데이터를 저장하는 방법과 네트워크로 연결되는 방법을 계속 확장한 최신 규격 묶음이라고 이해하면 됩니다.
NVMe 규격은 단순히 SSD 속도만 정의하지 않는다.
2026년 7월 비준된 NVMe 2.4는 Base Specification과 여러 command set, PCIe·RDMA·TCP transport를 함께 업데이트했다.
NVMe 생태계는 Zoned Namespace, Key Value, Computational Programs, Subsystem Local Memory 등 저장장치가 단순 block device를 넘어 더 다양한 역할을 수행하는 방향으로 발전하고 있다.
AI 시대에는 데이터가 너무 많아 모든 데이터를 CPU에서 가공한 뒤 저장하기보다 스토리지 가까이에서 일부 처리를 수행하는 Computational Storage 개념도 다시 중요해질 수 있다.
NVMe 성능의 다음 병목은 CPU일 수 있다
택배가 창고에서 목적지로 가는데 반드시 중간 물류센터에서 한 번 내려 다시 싣는다면 시간이 더 걸립니다. 스토리지 데이터가 CPU 메모리를 거쳐 GPU로 가는 과정도 비슷합니다. 다음 편의 GPUDirect Storage가 이 ‘중간 환승’을 줄입니다.
스토리지와 네트워크가 빨라지면 데이터를 CPU 메모리로 복사하고 다시 GPU로 보내는 과정 자체가 병목이 된다.
전통적인 경로는 Storage → CPU Memory → GPU Memory다. 이 과정에서 CPU와 시스템 메모리 대역폭을 사용한다.
GPUDirect Storage는 이 중간 복사를 줄여 Storage → GPU Memory에 가까운 직접 경로를 제공한다.
즉 NVMe의 속도가 올라갈수록 CPU를 우회하는 데이터 이동 기술의 가치도 커진다.
NVMe SSD의 전력과 용량도 중요하다
AI 데이터센터에서는 성능만큼 전력효율이 중요하다.
수천 개 SSD가 동시에 동작하면 저장장치 전력만으로도 큰 부하가 된다. 그래서 TB당 전력, rack당 저장용량이 중요한 지표가 된다.
Micron은 2026년 245TB급 6600 ION SSD를 공개하며 HDD 기반 배치 대비 랙 공간과 전력소비 절감을 강조했다.
고용량 QLC SSD는 최고 속도보다 데이터레이크와 warm tier에서 높은 밀도와 낮은 전력을 제공하는 것이 강점이다.
AI storage는 고성능 TLC SSD와 고용량 QLC SSD가 서로 다른 계층에서 함께 사용되는 구조로 발전한다.
다음은 NVMe보다 더 위의 메모리 문제다
NVMe가 아무리 빨라도 GPU HBM이나 CPU DRAM보다 느리다.
AI 모델이 커질수록 모든 working set을 HBM이나 DRAM에 넣기 어려워진다. 여기서 메모리 용량을 더 유연하게 늘리고 여러 서버가 공유하려는 기술이 CXL이다.
다음 편에서는 CXL이 왜 ‘서버마다 메모리를 따로 갖는 방식’을 바꾸려 하는지 살펴본다.
이 글에서 기억할 핵심
NVMe는 한 서버 안의 고속 저장장치 연결을, NVMe-oF는 그 접근 방식을 네트워크 너머로 확장하는 기술을 설명합니다. 규격 이름보다 지연시간·대역폭·공유 범위가 어떻게 달라지는지 구분하면 됩니다.
- AI 스토리지와 메모리 인프라는 GPU가 데이터를 기다리지 않게 만드는 핵심 시스템이다.
- NVMe의 핵심은 SSD를 빠르게 만든 것이 아니라 플래시의 병렬성을 PCIe와 네트워크 전체로 확장해 AI 클러스터가 데이터를 동시에 끌어올 수 있게 만든 것이다.
- 최신 규격과 기술은 상용화 수준과 연구·로드맵 단계를 구분해 설명해야 한다.
한 줄 핵심
NVMe의 핵심은 SSD를 빠르게 만든 것이 아니라 플래시의 병렬성을 PCIe와 네트워크 전체로 확장해 AI 클러스터가 데이터를 동시에 끌어올 수 있게 만든 것이다.
같이 읽기
NVMe와 NVMe-oF를 같은 제품군으로만 보면 안 된다
NVMe는 호스트가 비휘발성 저장장치와 효율적으로 통신하기 위한 명령 집합과 큐 구조입니다. 서버 내부에서는 주로 PCIe를 통해 SSD에 연결합니다. NVMe-oF는 이 NVMe 명령을 네트워크 패브릭으로 확장해 다른 서버나 스토리지 시스템의 장치에 접근하도록 합니다. 즉 NVMe-oF는 ‘더 빠른 SSD’라기보다 빠른 저장장치를 여러 호스트가 공유하게 만드는 연결 구조에 가깝습니다.
네트워크를 거치면 유연성과 자원 활용률은 높아질 수 있지만, 경로가 길어지고 스위치·NIC·전송 프로토콜의 영향을 받습니다. NVMe/TCP는 일반 이더넷 운영 경험을 활용하기 쉽고, RDMA 계열은 낮은 CPU 부하와 지연을 목표로 하지만 네트워크 설정과 혼잡 관리가 더 중요합니다. 어느 방식이든 SSD의 최대 성능보다 애플리케이션에서 측정한 종단 간 지연과 처리량이 판단 기준이어야 합니다.
비교표에서 꼭 구분할 것
- 로컬 PCIe 연결인지 패브릭을 통한 원격 연결인지
- TCP·RDMA·Fibre Channel 중 어떤 전송을 사용하는지
- 단일 호스트 수치인지 다중 호스트 경합 상태의 수치인지
- 경로 이중화와 장애 전환 때 지연이 어떻게 변하는지
추가 원자료: NVM Express — NVMe 2.0 Fabrics and Multi-Domain Subsystems, NVM Express — NVMe over PCIe Transport
공식·주요 참고자료
- NVM Express Base Specification 2.4
- NVM Express Revision Changes
- NVMe over RDMA Transport
- Micron COMPUTEX 2026
※ 본 글은 산업과 기술 구조를 이해하기 위한 정보형 콘텐츠이며 특정 종목의 매수·매도 추천이나 수익 보장을 목적으로 하지 않습니다.