Lokale KI wird besser. Ihr Speicherproblem bleibt jedoch bestehen.

Kleinere Modelle leisten heute deutlich mehr als noch vor einem Jahr. Doch auch größere Modelle können die Leistungsfähigkeit weiter steigern, und die damit verbundenen Arbeitslasten erfordern mehr Speicher, als die reine Parameteranzahl vermuten lässt.

Lokale KI entwickelt sich rasant. Verbesserte Trainingsmethoden, Datenaufbereitung, Quantisierung und Modellarchitekturen ermöglichen es kleineren Modellen, Aufgaben zu bewältigen, für die früher deutlich größere Modelle erforderlich waren. Modelle, die für PCs und Workstations entwickelt wurden, können nun logisches Denken entwickeln, Bilder verstehen, Tools aufrufen, Dokumente bearbeiten und als Teil eines automatisierten Workflows ausgeführt werden.  

Das verändert die Möglichkeiten, die lokal bestehen. Das bedeutet aber nicht, dass die Modellgröße oder die Speicherkapazität keine Rolle mehr spielen.  

Kleinere Modelle werden zwar leistungsfähiger, doch größere Modelle bieten nach wie vor bessere Schlussfolgerungen, höhere Genauigkeit, umfassendere Wissensabdeckung, bessere mehrsprachige Leistung und höhere Zuverlässigkeit bei komplexen Aufgaben. Gleichzeitig erweitert sich die Definition einer sinnvollen lokalen KI-Auslastung über das Laden eines einzelnen Modells und die Beantwortung einer einzelnen Anfrage hinaus. Wir erwarten nun von lokaler KI, dass sie größere Kontexte verarbeitet, verschiedene Datentypen versteht, Werkzeuge nutzt, vertrauliche Informationen abruft, frühere Ergebnisse speichert und mitunter mehrere Modelle oder Agenten gleichzeitig ausführt.  

Das Modell mag effizienter sein, aber der gesamte Arbeitsaufwand ist nicht unbedingt geringer. 

Kleinere Modelle heben den Boden an, nicht die Decke

Die Parameteranzahl ist ein unvollkommenes Maß für die Leistungsfähigkeit eines Modells. Ein gut trainiertes 12-Bit-Modell kann ein älteres, um ein Vielfaches größeres Modell übertreffen. Durch Quantisierung lässt sich der Speicherbedarf für die Ausführung eines Modells erheblich reduzieren. Mixture-of-Experts-Architekturen (MoE) aktivieren für jedes Token nur einen kleinen Teil der Modellparameter und senken so den Rechenaufwand.  

Diese Fortschritte ermöglichen den Einsatz nützlicher lokaler KI auf einer breiteren Palette von Systemen. Das macht größere Modelle jedoch nicht überflüssig.  

Die Modellqualität hängt von der Architektur, den Trainingsdaten, der Nachbearbeitung, der Präzision und der zu evaluierenden Arbeitslast ab, nicht allein von der Parameteranzahl. Dennoch können anspruchsvolle Aufgaben wie logisches Schlussfolgern, Codieren, mehrsprachige und multimodale Aufgaben von der zusätzlichen Kapazität eines größeren Modells profitieren. Ein kleineres Modell mag bei einer Benchmark- oder einer eng begrenzten Aufgabe gute Ergebnisse liefern, ohne jedoch die gleiche Konsistenz in einem komplexen Unternehmensworkflow zu gewährleisten.  

Die praktische Frage geht über die Frage hinaus, ob kleine oder große Modelle “gewonnen” haben. Es geht vielmehr darum, welches Modell eine akzeptable Qualität für die Arbeitslast bietet und ob das lokale System über genügend Speicher verfügt, um es auszuführen.  

Die Funktion erweitert den Speicher über das Modell hinaus.

Die Modellgewichte sind nur der offensichtlichste Teil des Speicherbedarfs. Eine moderne lokale KI-Anwendung benötigt möglicherweise auch Speicher für Folgendes:  

• Langer Kontext und der zugehörige KV-Cache  

• Abgerufene Dokumente und Unternehmensdaten  

• Bild-, Audio- oder Videoeingänge  

• Werkzeugdefinitionen, Aufrufe und Ergebnisse  

• Agentenpläne und bisherige Aktionen  

• Einbettungs- und Neubewertungsmodelle  

• Mehrere Benutzer, Sitzungen oder Agenten  

• Wiederverwendbare Eingabeaufforderungen und vorab berechneter Kontext  

Diese Anforderungen häufen sich während der Laufzeit der Anwendung an.  

Ein Modell, das beim Anwendungsstart optimal passt, bietet möglicherweise zu wenig Kapazität für ein längeres Kontextfenster. Ein Agent kann mit einer überschaubaren Eingabeaufforderung beginnen und dann in Dutzenden von Schritten Quelldokumente, Suchergebnisse, Tool-Ausgaben, Code, Pläne und vorherige Antworten hinzufügen.  

Parallelverarbeitung verschärft das Problem. Jede aktive Sitzung benötigt möglicherweise einen eigenen Key-Value-Cache. Mehrere Agenten, die an verschiedenen Teilen einer Aufgabe arbeiten, können den Speicherbedarf vervielfachen, selbst wenn sie dasselbe Basismodell verwenden. Die Anpassung des Modells ist zwar notwendig, aber nicht mehr ausreichend.  

Langer Kontext ist nicht kostenlos

Lange Kontextzeiten sind mittlerweile ein Standardmerkmal von Modellen. Aktuelle Modelle werben mit Kontextfenstern von Hunderttausenden oder sogar einer Million Tokens. Das bedeutet jedoch nicht, dass jedes lokale System das gesamte Fenster effektiv nutzen kann.  

Während der Inferenz erstellt das System einen KV-Cache, der Informationen aus zuvor verarbeiteten Token enthält. Der KV-Cache ermöglicht es dem Modell, fortzufahren, ohne für jedes neue Token seine gesamte Historie neu berechnen zu müssen. Mit zunehmendem Kontext wächst auch der KV-Cache. Seine Größe steigt zudem mit der Modellarchitektur, der Batchgröße und der Anzahl gleichzeitiger Sitzungen.  

Eine Anwendung kann den Speicherverbrauch steuern, indem sie ältere Kontextinformationen verwirft, zusammenfasst oder bei Bedarf neu berechnet. Jede dieser Optionen ist mit Kosten verbunden. Das Modell kann nützliche Details verlieren, zusätzliche Rechenleistung für die Rekonstruktion vorheriger Daten aufwenden oder länger für die Antwort benötigen.  

Ein großes Kontextfenster ist daher sowohl eine Modellfähigkeit als auch eine Infrastrukturanforderung.  

Die Verwendung von Tools verwandelt eine Eingabeaufforderung in eine Arbeitslast.

Der Aufruf eines Tools selbst ist nicht besonders speicherintensiv. Die Umgebung hingegen schon. Ein Agent beginnt mit Anweisungen und einer Aufgabe. Anschließend kann er Dateien untersuchen, eine API aufrufen, eine Datenbank durchsuchen, Code ausführen, das Ergebnis auswerten, seinen Plan anpassen und es erneut versuchen. Relevante Ausgaben werden dem Arbeitskontext des Agenten hinzugefügt, damit dieser entscheiden kann, wie es weitergeht.  

Ein Codierungsagent kann wiederholt in einem großen Datenbestand arbeiten. Ein Rechercheagent kann zahlreiche Dokumente verarbeiten und Zitate, Notizen und Zwischenergebnisse speichern. Ein Geschäftsagent kann Daten aus verschiedenen Systemen abrufen, bevor er eine Antwort generiert.  

Das Ergebnis ist keine einzelne große Eingabeaufforderung, sondern eine sich erweiternde Sequenz aus Eingabeaufforderungen, abgerufenen Informationen, Werkzeugergebnissen und Entscheidungen. Aus diesem Grund verlagert agentenbasierte KI die Diskussion um den Speicher von der Modellkapazität hin zur Arbeitslastkapazität.  

Multimodal bedeutet mehr als nur das Hinzufügen eines Bildes

Lokale Modelle werden zunehmend nativ multimodal. Eine einzelne Anwendung kann Text, Bilder, Audio, Dokumente, Bildschirmaufnahmen oder Videos verarbeiten. Manche multimodale Modelle verarbeiten diese Eingaben innerhalb einer einzigen Architektur. Andere Anwendungen nutzen mehrere spezialisierte Modelle, die in einer Pipeline miteinander verbunden sind. Beide Ansätze erhöhen den Speicherbedarf.  

Das System muss möglicherweise das primäre Sprachmodell, modalitätsspezifische Komponenten, Zwischenrepräsentationen und den aus der Eingabe generierten Kontext speichern. Ein lokaler Assistent, der ein Dokument prüfen, dessen Diagramme verstehen, an einer Besprechung teilnehmen und Geschäftsanwendungen aufrufen kann, ist nützlicher als ein reiner Text-Chatbot.  

Es bedeutet auch eine größere Arbeitsbelastung.  

MoE-Modelle reduzieren die Rechenkapazität, nicht die Gesamtkapazität des Modells.

MoE-Modelle liefern ein weiteres Beispiel dafür, warum Modelleffizienz und Speicherbedarf parallel steigen können. Ein MoE-Modell enthält mehrere Expertennetzwerke, aktiviert aber für jedes Token nur eine Teilmenge. Dadurch erreicht das Modell eine höhere Gesamtkapazität, ohne für jede Berechnung alle Parameter zu verwenden. Die Anzahl der aktiven Parameter kann relativ gering sein, während der vollständige Expertensatz dennoch sehr groß sein kann.  

Die Speicherung aller Experten im GPU-Speicher verbraucht Kapazität, obwohl die meisten zu jedem Zeitpunkt inaktiv sind. Die Reduzierung der Anzahl der residenten Experten spart Speicherplatz, erfordert jedoch, dass das System einen Experten lädt, wenn das Modell ein Token an ihn weiterleitet.  

MoE macht die Berechnung effizienter. Es lässt die inaktiven Experten nicht verschwinden.  

Das Gedächtnis entwickelt sich zu einer Hierarchie

Die übliche Reaktion auf Speicherengpässe ist die Erweiterung des Grafikspeichers oder des Arbeitsspeichers. Dies ist nach wie vor die beste Lösung, wenn die gesamte Anwendung mit maximaler Geschwindigkeit ausgeführt werden muss. Allerdings ist dies nicht immer praktikabel.  

GPU-Speicher ist teuer und begrenzt. Workstation-DRAM bietet zwar mehr Kapazität, ist aber ebenfalls begrenzt. Flash-Speicher bietet deutlich mehr Kapazität zu geringeren Kosten, weist jedoch eine höhere Latenz auf.  

Die entscheidende Frage ist nicht, ob Flash-Speicher so schnell ist wie GPU-Speicher – das ist er nicht. Die eigentliche Frage ist vielmehr, ob jeder Teil der Arbeitslast permanent die schnellste Speicherebene belegen muss.  

Aktive Modelldaten und der aktuelle Kontext erfordern schnellen Zugriff. Inaktive MoE-Experten, ältere KV-Cache-Daten, wiederverwendbare Prompt-Präfixe und vorab berechnete RAG-Inhalte können bis zum Bedarf in einem größeren Speicherbereich abgelegt werden. Durch intelligentes Ressourcenmanagement kann ein lokales System größere oder längere Workloads ausführen, als es seine GPU- und DRAM-Kapazität normalerweise zulassen würde.  

Wo Pascari aiDAPTIV helfen kann

Pascari aiDAPTIV erweitert den effektiven KI-Speicher auf GPU-Speicher, Systemspeicher und Flash-Speicher mit hoher Lebensdauer. Es integriert sich in unterstützte KI-Laufzeitumgebungen, sodass die Software spezifische KI-Daten verwalten kann, anstatt die SSD als generischen Systemspeicher zu behandeln. Je nach Arbeitslast und Laufzeitumgebung können dies Modelldaten, MoE-Experten, KV-Cache oder vorab berechnete KV-Einträge für häufig verwendete RAG-Inhalte sein.  

Dies ermöglicht mehrere praktische Ergebnisse:  

• Führen Sie Modelle aus, deren Gesamtgewichte den verfügbaren GPU- und Systemspeicher überschreiten.  

• MoE-Experten dynamisch laden, anstatt jeden Experten vor Ort zu halten  

• Mehr KV-Cache beibehalten, wenn Sitzungen wachsen  

• Ein zuvor berechneter Kontext kann wiederverwendet werden, wenn ein stabiler gemeinsamer Kontext existiert.  

• Häufig abgerufene Inhalte im Vorab-Cache speichern, um wiederholtes Vorbefüllen zu vermeiden.  

• Führe speicherbeschränkte Feinabstimmungs-Workloads ohne zusätzliche GPUs aus  

Das Ergebnis ist nicht identisch mit der Ausführung der gesamten Arbeitslast im GPU-Speicher. Die Leistung hängt davon ab, wie viele Daten zwischen den Ebenen verschoben werden und wie häufig die Arbeitslast dies benötigt. Wenn die Alternativen jedoch darin bestehen, das Modell zu reduzieren, den Kontext zu verkürzen, die Parallelität zu begrenzen, GPUs hinzuzufügen oder die Arbeitslast gar nicht auszuführen, kann dieser Kompromiss sinnvoll sein.  

Lokale KI expandiert, sie schrumpft nicht.

Kleinere Modelle werden sich stetig verbessern, und damit einhergehend auch Quantisierung und Speicherkomprimierung. Diese Fortschritte ermöglichen es, immer leistungsfähigere KI auf PCs und Workstations auszuführen.  

Entwickler werden diese Effizienz nutzen, um mehr zu erreichen. Sie werden größere Modelle wählen, wenn die Arbeitslast davon profitiert. Sie werden längere Kontexte verwenden, multimodale Eingaben hinzufügen, mehr Tools verbinden, mehr Zustände speichern und mehr Arbeitslasten gleichzeitig ausführen.  

Eine höhere Speichereffizienz erweitert die Möglichkeiten lokaler KI. Sie beseitigt jedoch nicht den Speicherbedarf. Die entscheidende Frage zur Dimensionierung lautet nicht mehr einfach: “Wie groß ist das Modell?” Heute lautet die Frage:  

Welche Aufgaben muss die gesamte Arbeitslast erfüllen, und wie viel Speicherplatz benötigt sie, sobald sie mit der Ausführung beginnt?  

Erfahren Sie mehr über Pascari aiDAPTIV und Flash-beschleunigte Speichererweiterung für lokale KI-Workloads, oder  Kontaktieren Sie einen Pascari-Vertriebsmitarbeiter Heute.