PHISON – Forschungsnotiz: Phison aiDAPTIV+ ist mit großen Modellen kostengünstig, um Gen-AI zu ermöglichen

„Phison aiDAPTIV+ ist kosteneffizient mit großen Modellen, um generative KI zu ermöglichen

Analystenmeinung: Die Verwendung einer schnellen SSD als Erweiterungsebene für den nutzbaren RAM ist kein neues Konzept. Die meisten Betriebssysteme verfügen über Auslagerungsdateien, um mehr Systemspeicher als den installierten RAM zu ermöglichen. Phison aiDAPTIV+ ist ein Hardware- und Software-Set, das dasselbe Konzept für GPU-Speicher ermöglicht und KI bei großen Modellen kostengünstig macht. Der bandbreitenstarke Speicher einer GPU macht einen erheblichen Teil ihres Preises aus. Mit zunehmender Größe der KI-Modelle steigt auch der Bedarf an mehr Speicher. Die schnellste Option ist nach wie vor, das gesamte Modell und die Daten im GPU-Speicher zu behalten. Dies erfordert für große Modelle High-End-GPUs und beinhaltet oft die Verwendung von Cluster-GPUs, um das gesamte Modell unterzubringen. Phison aiDAPTIV+ ist nicht für Anwendungsfälle gedacht, die den höchstmöglichen Trainingsdurchsatz oder die niedrigste Inferenzlatenz erfordern, bei denen die Leistung die Kosten der GPUs rechtfertigt. Phison aiDAPTIV+ liefert kostengünstige Ergebnisse in Anwendungsfällen, in denen ein geringerer Durchsatz oder eine längere Antwortlatenz für erhebliche Kosteneinsparungen akzeptabel ist. Beispielsweise könnte zur Kostensenkung bei einem 66% die wöchentliche Feinabstimmung eines Modells über Nacht statt in zwei Stunden erledigt werden. Die aiDAPTIV+-Lösung umfasst die aiDAPTIVcache-Hardware und die aiDAPTIVlink-Treiber sowie die aiDAPTIVProSuite als optionale KI-Softwareentwicklungsumgebung. – futurumgroup.com

Quelle: futurumgroup.com