Phison erweitert KI-Verarbeitungskapazität für den Einsatz vor Ort und am Rand

Generative KI wird branchenübergreifend immer häufiger eingesetzt, da Unternehmen von dieser Technologie profitieren möchten. Allerdings sind KI-Anwendungen am Rande häufig mit Speicherbeschränkungen konfrontiert, was die Qualität der Ausgabe einschränkt. 

Um diese Herausforderungen zu meistern, nutzt Phison seine Expertise in der Hochleistungs-NAND-Flash-Technologie mit seinen aiDAPTIV+ Lösung, die einen bahnbrechenden Ansatz zur Erweiterung der KI-Fähigkeiten ermöglicht. Durch die Integration von SSDs als erweiterter Speicher für Large Language Models (LLMs) erschließt die Technologie von Phison neue Möglichkeiten für Edge-IoT- und Robotergeräte, PCs, Engineering-Workstations und Rechenzentrumsserver. Diese Fortschritte ermöglichen es Geräten, größere Modelle zu laden und sowohl Feinabstimmungen als auch bessere Inferenzergebnisse zu erzielen – Fähigkeiten, die bisher unerreichbar waren. 

So zeigen beispielsweise die Messungen von Phison, dass PCs und neu veröffentlichte IoT-Geräte von NVIDIA und anderen Unternehmen nun Modelle im Bereich von 1-8 Milliarden Parametern feinabstimmen können, und zwar über die bloße Inferenz hinaus. Darüber hinaus können mit NVIDIAs Jetson Orin Nano Super EntwicklerkitaiDAPTIV+ hat die Tokenlänge um das 16-Fache verlängert, was ein besseres Kontextverständnis und genauere Ausgaben ermöglicht. Insbesondere hat es die Zeit bis zum ersten Token um das 24-Fache beschleunigt und so die Benutzererfahrung durch eine verbesserte Reaktionszeit verbessert. 

Die wichtigsten Herausforderungen der KI angehen

Phisons aiDAPTIV+ ist außerdem darauf ausgelegt, kritische Hürden bei KI-Inferenzanwendungen zu lösen: 

• • • Speicherbeschränkungen überwinden:  aiDAPTIV+ integriert NAND-Flash-Speicher als erweiterten Speicher, ermöglicht die Ausbildung größer Large Language Models (LLM), wobei die Token-Verarbeitungskapazität deutlich erhöht und die Generierung und das Verständnis von längeren Inhalten verbessert werden.

• • • Steigerung der Inferenzeffizienz:  Durch die Optimierung der Ressourcen verbessert die Lösung die Inferenzgeschwindigkeit und verkürzt die Reaktionszeiten bei gleichzeitiger Wahrung der Kosteneffizienz. 

Partnerschaften für Innovation

Um diese Fortschritte in die Praxis umzusetzen, hat sich Phison mit ADLINK Technology zusammengetan. Gemeinsam haben sie die ADLINK Technology DLAP Supreme-Serie, eine Edge-generative KI-Plattform, die auf dem Jetson Orin Nano Super Developer Kit von NVIDIA und der aiDAPTIV+-Technologie von Phison basiert. Diese Plattform bietet hohe Speicherkapazität und Rechenleistung am Rand, ohne dass erhebliche Hardwarekosten entstehen, wodurch KI für verschiedene Branchen und Anwendungen zugänglicher wird. 

Von Rechenzentren bis Edge Computing

Phisons aiDAPTIV+ veranschaulicht das Potenzial innovativer Software- und Hardwareintegration zur Verbreitung von KI-Funktionen auf allen Computerebenen – von Edge-IoT-Geräten bis hin zu Rechenzentren. Durch die Nutzung von Software von Branchenführern wie NVIDIA, Meta und Hugging Face ermöglicht Phison praktische, kostengünstige Lösungen, die die Einführung von KI in allen Branchen, im öffentlichen Sektor und in der Wissenschaft fördern. 

Die Zukunft der KI liegt in der intelligenten Automatisierung alltäglicher Aufgaben, wodurch Menschen für strategischere und kreativere Aufgaben frei werden. Die aiDAPTIV+-Lösung von Phison ist ein bedeutender Schritt vorwärts bei der Verwirklichung dieser Vision und ebnet den Weg für fortschrittliche, weit verbreitete generative KI-Funktionen. 

Zusätzliche KI-Inhalte von Phison