AI 스토리지④ — KV Cache: AI 추론 시대의 새로운 메모리 병목

LLM 추론에서 KV Cache가 왜 커지는지, context length와 동시사용자 증가가 GPU 메모리에 어떤 부담을 주는지, NVIDIA Dynamo의 CPU·SSD offloading과 계층형 캐시를 쉽게 설명한다.

본문 읽기 →