메모리가 가득 찼을 때 AI 성능이 저하되는 이유: KV 캐시, 컨텍스트 및 숨겨진 오류

KV 캐시 증가가 어떻게 AI 추론 성능을 조용히 저하시키는지, 그리고 최신 AI 워크로드 확장에 메모리 인식 인프라가 왜 필수적인지 알아보세요. 

AI 추론 성능은 GPU의 연산 한계에 도달하기 훨씬 전에 KV 캐시의 용량 증가로 인해 사용 가능한 메모리가 소모되면서 저하되는 경우가 많습니다. 이 글에서는 메모리 병목 현상이 지연 시간, 동시성 및 확장성에 미치는 영향과 Pascari aiDAPTIV™가 GPU, 시스템 메모리 및 플래시 메모리를 최적화하여 보다 효율적인 AI 인프라를 구축하는 방법을 설명합니다.

현대의 AI 인프라 GPU는 이전보다 더 큰 모델, 더 긴 컨텍스트 윈도우, 더 많은 동시 사용자를 처리하고 있습니다. 하지만 많은 조직에서는 GPU가 이론적인 연산 한계에 도달하기 훨씬 전에 추론 성능이 저하되기 시작한다는 사실을 발견합니다. 응답 시간이 불규칙해지고, 처리량이 예기치 않게 감소하며, 고가의 하드웨어 투자에도 불구하고 사용자는 더 느리거나 불안정한 상호 작용을 경험하게 됩니다. 

원인은 대개 KV 캐시 메모리의 병목 현상입니다. 

KV 캐시는 언어 모델이 새로운 토큰을 생성하는 데 필요한 주의 상태를 저장하며, 활성 컨텍스트와 동시 요청이 증가함에 따라 메모리 요구량도 증가합니다. 이러한 요구량이 가용 GPU 메모리에 근접하면 시스템은 동시성을 줄이거나, 요청을 지연 또는 거부하거나, 나중에 다시 구축해야 하는 재사용 가능한 캐시 데이터를 폐기할 수 있습니다. 또한 애플리케이션은 메모리 제한을 준수하기 위해 대화 기록을 단축할 수도 있습니다. 이러한 변경 사항은 명백한 하드웨어 오류 없이 발생할 수 있으므로 메모리 부족 현상은 추론 성능과 사용자 경험을 조용히 저해할 수 있습니다. 

배포 시 이러한 현상이 발생하는 이유를 이해하는 것이 점점 더 중요해지고 있습니다. 로컬 또는 비공개 AI 인프라. 부서, 고객 또는 엣지 로케이션 전반에 걸쳐 추론 워크로드를 확장함에 따라 메모리 관리는 GPU 성능 자체만큼이나 중요해졌습니다. 

읽어보세요: Phison, 플래시 메모리 확장으로 로컬 AI 추론 성능 향상

느리고 불안정한 AI 추론 뒤에 숨겨진 실패 원인

인프라 팀은 문제가 발생할 수 있음을 알리는 명확한 경고 신호를 찾는 데 익숙합니다. CPU 사용률 급증, 스토리지 용량 부족, 네트워크 링크 포화 상태 등이 그 예입니다. 이러한 이벤트는 비교적 쉽게 식별하고 문제를 해결할 수 있습니다. 

AI 추론 중 메모리 포화 현상은 각기 다릅니다. 

많은 실제 운영 중인 AI 시스템은 성능이 점차 저하되는 상황에서도 계속 작동합니다. 평균 지연 시간은 허용 가능한 수준을 유지할 수 있지만, 특정 요청만 처리될 때의 지연 시간(tail latency)은 급격히 증가합니다. 일부 요청은 빠르게 완료되는 반면, 다른 요청은 몇 배나 더 오래 걸립니다. 처리량은 불규칙해지고, 사용자들은 하드웨어 한계를 즉시 파악하기 어려운 예측 불가능한 동작을 보고하기 시작합니다. 

이는 인프라가 표면적으로는 정상적으로 작동하는 것처럼 보이기 때문에 운영상의 어려움을 야기합니다. GPU는 여전히 요청을 처리하고 있고, 애플리케이션도 온라인 상태를 유지하고 있습니다. 기존 모니터링 대시보드에서도 사용률이 합리적인 수준으로 표시되는 경우가 많습니다. 

한편, 사용자 경험은 계속해서 악화되고 있습니다. 

관리자들이 패턴을 파악할 때쯤이면 이미 동시 처리되는 AI 요청 수가 줄어들거나, 활용률이 낮아지거나, 훨씬 더 빨리 도착했어야 할 응답을 기다리며 불만을 토로하는 사용자들의 목소리를 듣게 될 수도 있습니다. 

기업 전반에 걸쳐 AI 도입이 계속 증가함에 따라 이러한 미묘한 성능 문제는 순전히 기술적인 문제가 아닌 비즈니스 문제로 점점 더 대두되고 있습니다.

읽어보세요: 더 적은 GPU 메모리로 더 많은 AI 작업을 수행하는 방법: Pascari aiDAPTIV™가 오늘날의 메모리 부족 문제를 해결하는 방법

KV 캐시의 역할

AI 메모리 포화 현상이 왜 그렇게 심각한 문제가 되는지 이해하려면 KV 캐시에 실제로 무엇이 저장되는지 아는 것이 도움이 됩니다. 

대규모 언어 모델(LLM)은 프롬프트를 처리할 때마다 단어, 문장 및 이전 대화 부분 간의 관계를 이해할 수 있도록 내부 표현을 생성합니다. 이러한 표현을 키와 값이라고 하며, 이 둘을 합쳐 KV 캐시라고 합니다. 

모델이 새로운 토큰을 생성할 때마다 해당 정보를 다시 계산하는 대신, 캐시는 해당 정보를 메모리에 저장합니다. 이를 통해 모델은 이전의 어텐션 데이터를 재사용할 수 있으므로 추론 속도가 크게 향상됩니다. 

긴 기술 매뉴얼을 읽는 것에 비유해 보세요. 다음 페이지로 넘어가기 전에 이전 장을 모두 다시 읽는 대신, 이미 배운 내용을 떠올리며 그 이해를 바탕으로 계속 나아가는 거죠.

LLM 과정도 거의 같은 방식으로 진행됩니다. 

문제는 이러한 기억이 대화가 진행되는 동안 계속해서 커진다는 점입니다. 긴 질문에는 더 많은 주의 집중 데이터가 필요합니다. 여러 대화를 동시에 진행하면 즉시 접근 가능해야 하는 캐시된 정보의 양이 기하급수적으로 늘어납니다. 

많은 조직들이 AI 인프라를 계획할 때 모델 크기에만 집중하는 경향이 있습니다. 하지만 실제로는 KV 캐시가 컨텍스트 길이와 동시 실행 수 모두에 비례하여 확장되기 때문에 예상보다 빠르게 증가하는 경우가 많습니다. 배포가 성숙해짐에 따라 KV 캐시는 GPU 메모리를 가장 많이 사용하는 요소 중 하나가 될 수 있습니다. 

메모리가 예상보다 빨리 차는 이유는 무엇일까요?

더 큰 GPU를 설치하면 향후 성장 문제를 자동으로 해결할 수 있다고 생각하는 것이 일반적입니다. 하지만 실제로는 모델 기능이 향상될수록 메모리 요구량도 훨씬 빠르게 증가하는 경우가 많습니다. 

현대의 AI 애플리케이션은 짧은 질문과 간략한 답변으로만 구성되는 경우가 드뭅니다. 기업용 AI 비서는 장문의 문서를 분석하고, 계약서를 요약하고, 소프트웨어 저장소를 검토하고, 방대한 지식 기반에서 질문에 답하고, 수천 개의 토큰에 걸쳐 대화를 유지합니다. 

동시에 이러한 시스템은 여러 사용자를 동시에 처리합니다. 각 활성 요청은 자체 KV 캐시를 유지합니다. 활성 요청이 추가될 때마다 시스템의 메모리 요구량이 증가합니다. 대화가 길어질수록 상호 작용이 진행되는 동안 이러한 캐시는 계속 확장됩니다. 

이로 인해 사용 가능한 컴퓨팅 리소스가 충분히 활용되지 않는 경우에도 추론 과정에서 GPU 메모리 병목 현상이 발생합니다. 

즉, GPU에는 여전히 처리 능력이 남아 있습니다. 다만 모든 활성 요청을 효율적으로 처리할 만큼 충분한 메모리가 더 이상 없는 것입니다. 

GPU를 추가하면 연산 능력과 메모리 용량이 증가하지만, 주로 메모리 용량에 의해 제약되는 작업 부하를 해결하는 데에는 비용이 많이 드는 방법일 수 있습니다. 

읽어보세요: 시간을 절약하고 성능을 향상시키며 더욱 스마트한 프로젝트를 구축하려면 올바른 AI 모델 형식을 선택하세요

메모리 인식 AI 아키텍처 구축

미래의 AI 배포를 계획할 때는 GPU 사양만을 고려하는 것을 넘어 더욱 세심한 부분까지 생각해야 합니다. 메모리 인식 AI 아키텍처는 추론 성능이 컴퓨팅 리소스와 가용 메모리의 균형을 맞추는 데 달려 있으며, 워크로드가 진화함에 따라 두 리소스 모두 함께 확장될 수 있도록 보장해야 한다는 점을 인식하고 있습니다. 

GPU 메모리를 고정된 제약 조건으로 취급하는 대신, 시스템 메모리와 플래시 메모리를 추가 메모리 계층으로 활용하여 실질적인 메모리 용량을 확장할 수 있습니다. 이러한 계층은 GPU 메모리보다 속도는 느리지만 훨씬 더 큰 용량을 제공합니다. 

이점은 작업 부하에 따라 다릅니다. 보존되거나 미리 캐시된 데이터를 재사용하면 시스템이 반복해야 하는 작업을 방지하여 성능을 향상시킬 수 있습니다. 또한, 추가 용량을 통해 작업 부하가 감당할 수 없을 정도로 큰 모델, 더 긴 컨텍스트 또는 더 많은 동시 요청을 실행할 수 있습니다. 

모든 메모리 계층을 GPU 메모리처럼 작동하게 만드는 것이 목표가 아닙니다. 각 계층이 가장 큰 가치를 제공하는 곳에서 활용하는 것이 목표입니다. 즉, 데이터를 재사용할 수 있을 때는 워크로드를 가속화하고, 메모리가 병목 현상의 원인이 될 때는 추가 용량을 제공하는 것입니다. 

Pascari aiDAPTIV™는 메모리 포화 문제를 어떻게 해결할까요?

Phison은 조직이 AI 메모리 요구 사항과 시스템에서 사용 가능한 메모리 간의 격차를 해소할 수 있도록 Pascari aiDAPTIV를 개발했습니다. 

이 솔루션은 aiDAPTIV 미들웨어와 aiDAPTIV 캐시 메모리를 결합하여 선택된 AI 데이터를 GPU 메모리, 시스템 메모리 및 플래시 메모리에 걸쳐 관리합니다. 이를 통해 워크로드의 모든 부분이 가장 빠르지만 용량이 제한적인 메모리 계층에 머물러 있을 필요 없이 효과적인 메모리 용량을 확장할 수 있습니다. 

유지된 데이터를 재사용할 수 있는 워크로드에서 사전 캐시된 KV 데이터, aiDAPTIV 반복적인 계산을 피함으로써 지연 시간을 줄일 수 있습니다. 하지만 다른 작업 부하에서는 더 큰 모델, 더 긴 컨텍스트 또는 더 많은 동시 요청을 지원하는 데 필요한 추가 용량을 얻는 대신 성능을 다소 희생해야 할 수도 있습니다. 

이는 AI 인프라를 확장하는 또 다른 방법을 제공합니다. 더 크고 비싼 GPU 구성에만 의존하는 대신, 더 큰 메모리 계층 구조를 사용하여 일부 워크로드의 속도를 높이고, 그렇지 않으면 실행되지 않았던 다른 워크로드도 실행할 수 있도록 할 수 있습니다. 

재사용이 성능을 향상시킬 때  

aiDAPTIV가 성능을 향상시키는 한 가지 방법은 미리 캐시된 KV 데이터를 유지하여 시스템이 동일한 사전 채우기 작업을 반복할 필요가 없도록 하는 것입니다. 

LG gram Pro 16인치 AI PC에서 Llama 3.1 8B를 사용하여 테스트한 결과, 미리 캐시된 KV 데이터를 재사용하면 성능이 향상되었습니다. 첫 번째 토큰까지의 시간 8,000개 토큰 입력 시 58.38초에서 0.69초로 단축되었습니다. 16,000개 토큰 입력 시에는 163.54초에서 8.02초로 단축되었습니다.* 

성능 향상은 플래시 메모리가 GPU나 시스템 메모리보다 빠르기 때문이 아니라, 반복적인 계산을 피함으로써 이루어집니다. aiDAPTIV는 사전 채우기 작업을 미리 수행하고, 결과 KV 데이터를 저장해 두었다가 필요할 때 재사용할 수 있도록 합니다. 

차세대 AI 인프라 구축 계획

많은 조직들이 여전히 AI 인프라 규모를 주로 모델 매개변수나 GPU 사양을 기준으로 평가하고 있습니다. 하지만 이러한 측정치는 오늘날 전체 상황의 일부만을 보여줄 뿐입니다. 

컨텍스트 창이 계속 확장되고 더 많은 사용자가 동시에 AI에 의존함에 따라 메모리 동작은 장기적인 추론 성능을 예측하는 가장 강력한 지표 중 하나가 됩니다. 

향후 배포를 평가하는 인프라 팀은 GPU 개수 외에도 더 많은 질문을 던져야 합니다. 

• • • 컨텍스트 길이가 시간 경과에 따른 메모리 사용량에 어떤 영향을 미칠까요?
    • 동시 접속자 수가 두 배로 늘어나면 어떻게 될까요?
    • 메모리 사용량이 증가함에 따라 성능은 어떻게 변화합니까?
    • 아키텍처는 전체 하드웨어를 교체하지 않고도 확장할 수 있는 여지를 제공합니까?

이러한 질문에 대한 답을 미리 찾아두면 시스템이 실제 운영 규모에 도달한 후에야 나타나는 숨겨진 성능 병목 현상을 방지하는 데 도움이 될 수 있습니다. 

메모리는 이제 AI의 응답성, 효율성 및 확장성을 결정짓는 핵심 요소가 되었습니다. 이러한 변화를 인식하고 대비함으로써 조직은 미래에 더욱 강력해지는 AI 애플리케이션을 효과적으로 지원할 수 있을 것입니다. 

더 알아보기 파스카리 아이댑티브 또는 파스카리 영업 담당자에게 문의하십시오. 오늘.  

( *테스트 구성: Intel® Core™ Ultra 7 255H 프로세서, Intel® Arc™ 140T 그래픽, 32GB LPDDR5X-8400 메모리, Windows 11, Llama 3.1 8B Q4_K_M, 2TB Phison E28 부팅 SSD 및 aiDAPTIV 캐시 메모리용 320GB Phison AI100 SSD.

자주 묻는 질문(FAQ) :