Phison erweitert KI-Zugänglichkeit und Kosteneffizienz bei GTC

Das Unternehmen präsentierte mehrere wichtige Fortschritte in seinen bahnbrechenden aiDAPTIV+-Angeboten.  

Bei der NVIDIA GTC-Konferenz dreht sich alles um KI Phison präsentierte spannende Neuentwicklungen seiner aiDAPTIV+ Produkte und Lösungen. Mit über 39.000 Besuchern vor Ort und weiteren 300.000 Online-Teilnehmern war die Veranstaltung sowohl für die KI-Branche als auch für Phison ein voller Erfolg. Es war der Super Bowl der KI.

Lesen Sie weiter, um die Highlights von Phisons Auftritt bei GTC zu erfahren.

Wir stellen den branchenweit ersten KI-Laptop-PC mit LLMOps-Fähigkeit vor

In Partnerschaft mit HAUPTGETRIEBEPhison präsentierte den Konferenzteilnehmern die erste Konzeptdemo eines LLM-Schulungs-Laptops, der Modelle mit bis zu 8 Milliarden Parametern unterstützt. Der MAINGEAR KI-Laptop umfasst Phison aiDAPTIVCache SSDs, aiDAPTIVLink Middleware und einen GUI-basierten All-in-One-Funktionssatz der aiDAPTIV+ Pro Suite für LLM-Operationen – einschließlich Ingestion, Feinabstimmung, Retrieval-Augmented Generation (RAG), Überwachung, Validierung und Inferenz.

Der Laptop ist ideal für angehende KI-Entwickler und Datenwissenschaftler sowie für alle Organisationen, die KI-Modelle anhand ihrer eigenen Daten trainieren möchten, ohne auf die Cloud oder eine millionenschwere lokale Infrastruktur angewiesen zu sein.

„aiDAPTIV+ ist jetzt so, als ob man jederzeit einen Experten für die eigenen Daten im Rucksack hätte“, sagte Michael Wu, GM und Präsident von Phison US, in der jüngsten Pressemitteilung„Sie können nicht nur Ihre eigenen, fein abgestimmten oder RAG-fähigen LLMs trainieren und Schlussfolgerungen ziehen, sondern anschließend auch die Früchte Ihrer Erkenntnisse ernten.“

Ansicht: Phison aiDAPTIV+ Lösung

In derselben Pressemitteilung sagte Wallace Santos, CEO von MAINGEAR, dass der Proof-of-Concept-Laptop „sowohl leistungsstarke Edge-KI-Inferenz als auch geräteinternes Modelltraining von überall aus ermöglicht“ und „Unternehmen, Pädagogen und Studenten ein kostengünstiges Tool zur Entwicklung von KI-Modellen ohne die Komplexität der herkömmlichen Rechenzentrumsinfrastruktur.“

Rezensent Sayan Sen, berichtet für Neowin.net, sagte, dass der Phison-MAINGEAR KI-Laptop „beim dynamischen Caching hilft, indem er den verfügbaren HBM (High-Bandwidth Memory)/GDDR erweitert und mit NAND-Flash-basiertem aiDAPTIVCache kombiniert.“ Der Artikel enthält ein Diagramm, das zeigt, dass der MAINGEAR AI PC mit aiDAPTIV+ ein MAINGEAR-Setup ohne aiDAPTIV+ bei weitem übertrifft.

Der MAINGEAR AI PC mit aiDAPTIV+ Technologie wird ab dem zweiten Quartal 2025 in drei vorkonfigurierten Modellen erhältlich sein. Kunden können jetzt Online registrieren um weitere Informationen zur Verfügbarkeit und Bestellung zu erhalten.

Aktivieren Sie KI-Inferenz am Edge mit aiDAPTIV+

Phison gab bekannt, dass aiDAPTIV+ Technologie ist nun für die Ausführung auf NVIDIA Jetson-basierten Geräten validiert. Der Einsatz von aiDAPTIVCache SSDs verbessert die Inferenz und die Low-Rank Adaptation (LoRA)-basierten LLM-Trainingsfunktionen. Dies eröffnet völlig neue Möglichkeiten für KI-Anwendungen im Edge Computing und in der Robotik. Es wird auch in den Bereichen autonomes Fahren, industrielle Automatisierung, Gesundheitsdiagnostik, Kundenanalyse im Einzelhandel, Telekommunikation, Landwirtschaft, Umweltüberwachung, intelligente Überwachung und vielem mehr von Nutzen sein.

Die aktualisierte aiDAPTIVLink-Middleware ermöglicht höhere Geschwindigkeit und komplexere Eingabeaufforderungen

Phison hat seine Middleware aiDAPTIVLink aktualisiert und für April dieses Jahres verfügbar gemacht. aiDAPTIVLink 3.0 bietet verbesserte Inferenzfähigkeiten durch schnellere Rückrufreaktionen und höhere Genauigkeit bei der Beantwortung von Eingabeaufforderungen. Dies wird durch die Möglichkeit längerer Token erreicht, was deutlich komplexere Eingabeaufforderungen ermöglicht.

Ein Artikel von GuruFocus veranschaulichte diese Leistungssteigerung:

Die Nutzung generativer KI auf Edge-Geräten wird bei der Ausführung großer Sprachmodelle (LLM) oft durch DRAM-Kapazitätsbeschränkungen eingeschränkt. Die [Adlink] DLAP Supreme-Serie mit NVIDIA Jetson AGX Orin steigert die KI-Leistung mit der Phison aiDAPTIV+-Technologie, überwindet effektiv Token-Längenbeschränkungen und verbessert die Inferenzgeschwindigkeit. Beispielsweise wird durch den Einsatz des DLAP-411 Orin Supreme mit einer NVIDIA Jetson AGX Orin 64GB-Konfiguration und dem Llama3.1-70B-Modell die Inferenz [Zeit bis zum ersten Token] TTFT um das 52-Fache verbessert und die Token-Länge um das 4-Fache erhöht.

Lesen Sie, was andere Medien zu sagen hatten

Phisons Ankündigungen wurden in einem GTC-Zusammenfassungsartikel von Forbes:

„Phison hat eine Reihe erweiterter Funktionen für aiDAPTIV+ angekündigt, eine kostengünstigere KI-Trainings- und Inferenzlösung für die lokale Infrastruktur. aiDAPTIV+ wird in KI-Laptop-PCs sowie in Edge-Computing-Geräte mit der Nvidia Jetson-Plattform integriert.“

TweakTown, auf dem MAINGEAR-Phison AI PC-Laptop:

Phison möchte die Kosten für die Ausführung von KI-Modellen senken, indem die Verarbeitung, die derzeit auf teurem GPU-Speicher erfolgt, auf kostengünstigen NAND-Flash-Speicher ausgelagert wird. Dadurch sinken die Betriebskosten des KI-Modells, sodass größere Modelle auf günstigeren Geräten trainiert werden können. Mit der leistungsstarken aiDAPTIV+-Software des Unternehmens können Nutzer nun ein KI-Modell mit ihren eigenen Daten anpassen – und das alles auf einem Gerät, das in jeden Rucksack passt.

TweakTown, darüber, wie aiDAPTIV+-Lösungen den Aufwand für KI-Training drastisch reduzieren:

Phison erwartet, dass das weltweit erste 1-Billion-Parameter-Modell noch vor Ende 2025 vorgestellt wird. … Phison rechnet mit Betriebskosten von etwa 143 Milliarden TP4B3 Millionen an reiner GPU-Leistung. Das Unternehmen hat jedoch einen Plan vorgestellt, um die Kosten auf nur 14100.000 TP4B1 zu senken. Wie? Mit einer Kombination aus SSDs, Phisons aiDAPTIV+ Software und einem NVIDIA GH200 Superchip.

 

Durch die Auslagerung der Verarbeitung von den GPUs auf SSDs mithilfe der intuitiven aiDAPTIV+-Software von Phison kann das Unternehmen die Anzahl der für die erfolgreiche Ausführung eines großen KI-Modells erforderlichen GPUs deutlich reduzieren. Phison geht davon aus, die Kosten für das Training des größten Modells um ein Dreißigstel des Preises oder weniger als 4% der derzeit geschätzten Betriebskosten senken zu können.

Blöcke und Dateien, zu den Funktionen von aiDAPTIV+:

„aiDAPTIV+ ist eine kostengünstige GPU-Speichererweiterung, die es Nutzern ermöglicht, ein LLM mit ihren Daten in einem lokalen, sicheren Closed-Loop-Netzwerk zu trainieren und gleichzeitig eine einfache Benutzeroberfläche für die Interaktion mit den Daten und das Stellen von Fragen zu bieten. KI-Inferenz für das IoT mit aiDAPTIV+ unterstützt jetzt Edge-Computing und Robotik-Anwendungsfälle mit Phisons Validierung von Nvidia Jetson-basierten Geräten.“

Erfahren Sie mehr über die aiDAPTIV+-Technologie in diesem Erklärvideo >>

Zusätzliche KI-Inhalte von Phison