최근 업계에서 발표한 서한 "오픈 웨이트 모델과 미국의 AI 리더십"은 다운로드 가능한 학습된 AI 모델인 오픈 웨이트 모델이 경쟁력 있고 누구나 접근 가능한 AI 생태계에 필수적이라고 주장합니다. 이 서한은 설득력 있는 논거를 제시합니다....

대규모 AI 모델을 미세 조정하는 과정에서 컴퓨팅 용량이 고갈되기 전에 GPU 메모리 부족 현상이 발생하는 경우가 많습니다. 이 글에서는 가중치, 옵티마이저 상태, 기울기, 활성화 값이 메모리 사용량을 유발하는 이유, GPU 추가가 비용이 많이 드는 해결책이 될 수 있는 이유, 그리고 그 해결책을 어떻게 적용할 수 있는지에 대해 설명합니다.

KV 캐시 증가가 어떻게 AI 추론 성능을 조용히 저하시키는지, 그리고 최신 AI 워크로드 확장에 메모리 인식 인프라가 왜 필수적인지 알아보세요. AI 추론 성능은 GPU가 컴퓨팅 한계에 도달하기 훨씬 전에 KV 캐시 증가로 인해 저하되는 경우가 많습니다.

전문가 혼합(Mixture of Experts) 아키텍처는 토큰당 모델 매개변수의 일부만 활성화하면서 더 큰 모델의 기능을 제공합니다. 따라서 로컬 AI에 적합하지만, 전체 모델은 여전히 메모리에서 접근 가능해야 합니다. 그 이유와...