Mobile KI skalieren ohne Skalierungskosten oder Komplexität

Erfahren Sie, wie Phison und MediaTek die Speicherarchitektur neu denken, um die nächste Generation von KI auf Smartphones zu ermöglichen.

Smartphones entwickeln sich zu einer primären Plattform für KI. Was mit grundlegenden Gerätefunktionen begann, hat sich schnell zur Unterstützung großer Sprachmodelle, multimodaler Anwendungen und stets verfügbarer, nutzernäher Erlebnisse weiterentwickelt.

Die lokale Ausführung von KI verbessert die Reaktionsfähigkeit, reduziert die Abhängigkeit von Cloud-Infrastruktur und hält sensible Daten auf dem Gerät. Sie ermöglicht zudem Echtzeit- und dauerhafte Interaktionen, die mit rein cloudbasierten Modellen nur schwer zu realisieren sind.

Mobile KI ist ein entscheidender Plattformwechsel

Künstliche Intelligenz (KI) verlagert sich dorthin, wo Daten entstehen, und das bedeutet zunehmend das Smartphone. Geräte sind nicht länger nur Endpunkte für KI-Ausgaben. Sie entwickeln sich zu Umgebungen, in denen Modelle in Echtzeit ausgeführt werden und reagieren.

Dieser Wandel wird durch drei Faktoren vorangetrieben: den Bedarf an geringer Latenz, besserer Datenkontrolle und die steigenden Kosten cloudbasierter Inferenz im großen Maßstab. Lokale KI begegnet allen drei Herausforderungen durch höhere Leistung, Speicherung von Daten auf dem Gerät und Reduzierung der Abhängigkeit von externen Diensten.

Das Ergebnis ist eine neue Generation von permanent verfügbaren, kontextbezogenen Anwendungen, die kontinuierlich im Hintergrund laufen. Das Potenzial ist offensichtlich, doch besteht weiterhin eine Lücke zwischen den Versprechen mobiler KI und der Leistungsfähigkeit aktueller Hardware.

Die Einschränkungen, die mobile generative KI zurückhalten

Generative KI ist naturgemäß speicherintensiv. Die Ausführung von KI-Modellen erfordert erhebliche Ressourcen, um Parameter zu speichern, Token zu verwalten und den Kontext während der Inferenz aufrechtzuerhalten. Auf Smartphones stoßen diese Anforderungen schnell an die Grenzen der realen Nutzung.

Die heute gängigsten Ansätze für KI-Training und -Inferenz, ob auf einem Smartphone oder in der Cloud, stellen Herausforderungen auf mehreren Ebenen dar:

• • • Cloudbasierte KI wirft Bedenken hinsichtlich Datenschutz, Sicherheit und laufender Token-Kosten auf.
    • Die Abhängigkeit von der Konnektivität führt zu Latenz- und Verfügbarkeitsproblemen.
    • On-Device-Ansätze stoßen auf Probleme mit begrenzter Speicherkapazität und den hohen Kosten der DRAM-Skalierung.
    • Langsame Reaktionszeiten können die Benutzererfahrung beeinträchtigen.

Diese Einschränkungen führen zu einem schwierigen Abwägen. Nutzer können entweder auf die Cloud setzen und deren Grenzen akzeptieren oder versuchen, KI direkt auf dem Gerät einzusetzen und dabei auf Leistungs- und Kostenbarrieren stoßen.

Um voranzukommen, benötigt die Branche einen anderen Ansatz für die Speichernutzung in mobilen Systemen.

Ein neuer Ansatz für mobile KI-Architektur

Kürzlich haben Phison und MediaTek eine Partnerschaft geschlossen, um diese Herausforderung mit einem grundlegend anderen Ansatz zum Thema Speicher anzugehen.

Die gemeinsame Lösung kombiniert den MediaTek Dimensity 9500 SoC mit der Pascari aiDAPTIV™-Lösung von Phison und führt eine neue KI-Inferenzarchitektur für Smartphones ein, die über die DRAM-Beschränkungen hinausgeht.

Im Kern ist der Ansatz einfach, aber wirkungsvoll, denn er ist:

• • • Erweitert die Speicherhierarchie durch die Integration von NAND-Flash neben DRAM
    • Nutzt intelligente Middleware zur dynamischen Datenverwaltung über verschiedene Speicherebenen hinweg.
    • Behandelt Speicher und Datenspeicherung als eine einheitliche, koordinierte Ressource

Anstatt sich ausschließlich auf DRAM zu verlassen, nutzt aiDAPTIV NAND-Flash als Erweiterung des Arbeitsspeichers und vergrößert so den verfügbaren Speicherpool für KI-Workloads erheblich.

Die Schlüsselkomponente ist die aiDAPTIV Memory Management Middleware, die als Koordinierungsschicht zwischen SoC, DRAM und UFS-Speicher fungiert. Sie streamt Modelldaten dynamisch dorthin, wo sie benötigt werden, und überwindet so effektiv die Grenze zwischen Arbeitsspeicher und Datenspeicher.

Dadurch entsteht eine Hybridarchitektur, in der häufig abgerufene KI-Daten intelligent zwischengespeichert werden, der Speicher in dedizierte Bereiche für Systemdaten und KI-Workloads unterteilt wird und Daten dynamisch wiederverwendet und ausgelagert werden können, um die Leistung zu optimieren.

In der Praxis bedeutet dies, dass Ihr Smartphone größere Modelle, längere Kontexte und komplexere Inferenzaufgaben bewältigen kann, ohne dass eine drastische Erhöhung des DRAM erforderlich ist.

Mit Phison und MediaTek verwandeln Sie Speicher von einer Einschränkung in einen Vorteil.

Dieser architektonische Wandel bringt messbare Vorteile mit sich, die die zentralen Herausforderungen der mobilen KI direkt angehen.

Reduzierter DRAM-Bedarf
Typische mobile KI-Implementierungen benötigen unter Umständen 16 GB oder mehr DRAM, um fortgeschrittene Modelle oder Anwendungsfälle, wie beispielsweise die Nutzung von Expertennetzwerken (Mixed of Experts, MoE), zu unterstützen. Durch dynamisches Auslagern von Modellen und MoE-Daten sowie intelligentes Speichermanagement kann der aiDAPTIV-Ansatz diesen Bedarf auf etwa 12 GB reduzieren und gleichzeitig die Leistung aufrechterhalten.

Geringere Systemkosten und verbesserte Effizienz
Durch die Nutzung der Kostenvorteile von NAND-Flash-Speichern reduziert die Lösung von Phison und MediaTek den Bedarf an teurer DRAM-Skalierung. Dies ermöglicht kostengünstigere Geräteentwicklungen, ohne die KI-Funktionalität einzuschränken.

Unterstützung für größere Modelle und längere Kontextfenster
Der erweiterte Speicherpool ermöglicht es Ihrem Smartphone, komplexere Modelle und längere Sequenzen zu verarbeiten und so reichhaltigere und leistungsfähigere KI-Erlebnisse zu ermöglichen.

Verbesserte Privatsphäre und Autonomie
Die lokale Ausführung von Inferenzprozessen reduziert die Abhängigkeit von der Cloud-Infrastruktur, wodurch sensible Daten besser geschützt werden und KI-Funktionalität auch ohne Internetverbindung ermöglicht wird.

Die Grundlage für mobile KI der nächsten Generation schaffen

Die Bedeutung dieser Zusammenarbeit liegt zum Teil in den Leistungssteigerungen, aber es geht auch um den Wandel in der Art und Weise, wie Smartphone-Systeme zur Unterstützung von KI konzipiert werden.

Durch die Zusammenführung von Speicher und Datenspeicher in einer koordinierten Architektur ermöglichen Phison und MediaTek eine neue Klasse von Smartphones, die Folgendes leisten können:

• • • Führen Sie fortgeschrittene KI-Modelle lokal aus.
    • Schnellere und reaktionsschnellere Nutzererlebnisse bieten
    • Ausgewogenheit zwischen Leistung, Kosten und Energieeffizienz
    • KI-Fähigkeiten skalieren, ohne die Hardwarekomplexität zu erhöhen

Dies ist ein grundlegender Schritt hin zu einer wirklich autonomen, permanent verfügbaren KI am Netzwerkrand.

Blicken wir nach vorn

Da sich mobile KI stetig weiterentwickelt, bleibt der Speicher einer der wichtigsten Faktoren, der die Möglichkeiten prägt. Lösungen, die die Struktur und Nutzung des Speichers neu denken, werden die nächste Innovationswelle bestimmen.

Die Zusammenarbeit zwischen Phison und MediaTek weist einen klaren Weg in die Zukunft. Indem der Speicher von einem Engpass in eine skalierbare Ressource verwandelt wird, ebnet sie den Weg für leistungsfähigere, effizientere und zugänglichere KI-Erlebnisse auf Smartphones.