- Barrieren in der generativen KI überwinden, die DLAP Super- und Supreme-Serie Steigern Sie die Edge-AI-Leistung und erschließen Sie Edge-AI der nächsten Stufe mit Phison aiDAPTIV+ und NVIDIA Jetson Orin Supermodus.
. . .
Beschleunigung wirtschaftlicher generativer KI am Edge
Die Nutzung generativer KI auf Edge-Geräten wird bei der Ausführung großer Sprachmodelle (LLM) oft durch DRAM-Kapazitätsbeschränkungen eingeschränkt. Die DLAP Supreme-Serie mit NVIDIA Jetson AGX Orin steigert die KI-Leistung mit der Phison aiDAPTIV+-Technologie, überwindet effektiv Token-Längenbeschränkungen und verbessert die Inferenzgeschwindigkeit. Beispielsweise kann der DLAP-411 Orin Supreme mit einer NVIDIA Jetson AGX Orin 64GB-Konfiguration zusammen mit dem Llama3.1-70B Modell: Die Inferenz-TTFT wird um das 52-Fache verbessert und die Token-Länge um das Vierfache erhöht. Die DLAP Super-Serie, ausgestattet mit dem NVIDIA Jetson Orin Super Mode, bietet ein robustes, softwareoptimiertes Framework mit bis zu 1,7-fach gesteigerten AI TOPS und bis zu zweifach verbesserter GenAI-Modellleistung. Die DLAP Super- und Supreme-Serien zielen darauf ab, die Bereitstellung generativer KI-Anwendungen am Edge zu beschleunigen. – morningstar.com
Quelle: morningstar.com