人工智能

为什么内存填满会导致人工智能性能下降：键值缓存、上下文和隐藏故障

经过里克·艾伦 | 2026 年 7 月 23 日 | 10 min read

了解键值缓存增长如何悄无声息地降低 AI 推理性能，以及为什么内存感知型基础设施对于扩展现代 AI 工作负载至关重要。AI 推理性能通常会在 GPU 达到计算极限之前很久就开始下降，因为键值缓存的增长…….

经过里克·艾伦 | 2026 年 7 月 16 日 | 9 min read

混合专家架构能够处理更大规模的模型，同时每个令牌仅激活模型的一小部分参数。这使其非常适合本地人工智能，但完整的模型仍然需要保持在内存中的可访问性。以下解释了这一点的重要性…….

经过里克·艾伦 | 2026 年 5 月 28 日 | 8 min read

了解内存优化和基础设施设计如何扩展人工智能的访问范围，同时提高效率和可持续性。联合国于 2015 年提出的可持续发展目标 (SDGs) 为解决一些全球性问题提供了一个框架…….

经过群联 | 2026 年 5 月 26 日 | 5 min read

了解群联电子和联发科如何重新思考内存架构，从而在智能手机上释放下一代人工智能的潜力。智能手机正成为人工智能的主要平台。最初仅支持基本的设备端功能，如今已迅速发展到支持大型语言…….

经过里克·艾伦 | 2026 年 5 月 7 日 | 11 min read

通过重新思考整个堆栈中的内存管理方式，扩展有效 GPU 内存，并在现有本地系统上运行更强大的 AI 工作负载。随着 AI 的普及，支撑其运行的基础设施也面临着越来越大的压力。过去一年，内存…….