AI应用的下一步 – Home Computing

.

.

Home Computing，本地端应用带来众多好处

简单来说，现代商业环境中的on-premise server 与个人环境所使用的AI PC即是Home computing所涵盖的使用情景。全球AI技术发展的趋势，不意外地从云端环境中落地发展，接下来，企业与个人对于AI的需求也快速兴起，随之而来的是更多的隐私、安全性、个人化，与成本优化的问题，Home computing泛指能够克服上述所有问题的本地端AI解决方案，这不单是一个容易记住的名词，其概念凸显出个人和商业环境中使用私有、本地运算及存储与云端所带来的不同。

相较于将数据上传至云端进行运算和存储，Home computing具有许多明显的好处:

- 提高数据的安全性和隐私性：使用本地服务器进行运算和存储能够提供更高程度的控制和保护个人或企业的敏感数据，避免遭受外部入侵和资料外泄的风险。

- 较快速和稳定的指令周期：本地运算可以加快指令周期，提高效率，特别是在需要处理大量数据或复杂运算的情况下，明显优于上传至云端运算。

- 更灵活的运算体验：利用本地服务器进行运算，用户可以享受更个性化、定制化的运算体验，可以根据自身需求进行设置和调整。

- 成本效益：使用本地服务器进行运算和存储可能会降低整体成本，因为不需要为外部云端服务的运算与传输支付月费，因此可以更加有效地控制硬件设备和软件的成本，符合个人或企业的预算需求。

- 网络稳定性：使用本地服务器进行运算可以避免依赖于网络连接，可以提供更稳定的运算环境。当网络连接出现问题时，本地服务器仍可以继续运作，不受网络状况变化的影响，确保持续的运算稳定性和效率。

- 普及化”联合学习”的训练模式: 联合学习的优势在于参与者只需要共享AI模型，不需要分享具机密性的数据、数据，即可找出优化的人工智能应用。不仅可解决数据治理及个人隐私保护问题，并可同时达到精进AI模型之目的。

- AI模型训练民主化: 核心概念在于使用 AI 的层面，已经不仅是「AI 如何提供服务的自由」，而延伸到「所有使用者都能够拥有符合个人需求 AI 的自由」。实现藉由简单的训练，让更多人能够真正在工作、生活中受益于AI的愿景

然而，要落实Home Computing，使其普及，让这世代的AI更加速的发展，仍须克服硬件扩充时所造成的高昂代价。我们都知道AI运算，很贵。

数据自主性的重要

「AI基礎建設不能假他人之手。」

 

~ Jensen Huang, President and CEO of NVIDIA

.

 .

.

AI运算需要大量参数与数据，存储技术最重要的时刻到来

目前显示适配器配备的内存容量并不足以支持参数数量达到一定规模以上的大型语言模型进行模型训练，已经成为各大科技巨头不得不正视的问题，像苹果公司在近期发表的一篇论文中就有提及，由于大型语言模型需要人工智能加速器和高 DRAM 存储容量，该公司的研究人员正在开发一种使用闪存芯片来存储 AI 模型数据的技术，旨在将大型语言模型引入内存容量有限的装置，像是iPhone 和 Mac系列等产品。

然而，作为领先的存储解决方案供货商和技术先驱，群联电子发展的更早，2023年中，便已经推出了自主研发的aiDAPTIV+技术，透过整合SSD的AI运算架构，将大型AI模型做结构性拆分，有效的降低AI服务所需投入的硬件扩建成本。其核心概念即是利用成本效益高、大容量和可扩展性的固态硬盘来参与训练生成式AI和大型语言模型，分担显示适配器内存需暂存训练数据和模型计算过程中产生的数据等负担，藉此克服本地端因显示适配器内存容量有限而无法使用更大参数量的模型来进行模型训练的困境。

查看：Phison aiDAPTIV+解决方案

aiDAPTIV+ , 突破性的解决方案

aiDAPTIV+技术将固态硬盘整合到AI模型训练框架内，在训练的过程中，训练模型和计算过程中产生的数据都存储在固态硬盘内，每次只将需要处理的部分模型暂时放入显示适配器内存进行计算，待计算结束后再将结果存回固态硬盘中。这种方式有效地减少了对显示适配器内存的依赖，避免了模型和数据“塞满”内存的情况发生。

根据群联电子实际测试的结果显示，在显示适配器内存能够被释放之后，将能够处理比原先更多批次的待训练数据，进而使落地训练的整体效率能够大幅提升。

一旦采用了aiDAPTIV+的解决方案，显示适配器及其高速内存的容量需求将不再是模型训练发展的瓶颈，也将能够化解建置大量服务器的必要性和其所带来的高额成本，将原本需要超过千万的硬件扩充成本，降低为数万元的水平，近似于一般用户对于个人计算机或3C产品的花费水平，这将使得每个商业用户或家庭用户都可以使用有限的资源来进行更大型并有效率的模型训练。

Home computing，一个具有前景和发展潜力的运算概念，随着aiDAPTIV+打破Home computing发展的枷锁与束缚 — 高昂的硬设备成本，过去因经费有限的商业用户和家庭用户将能够享有本地AI运算所带来高安全性和隐私保护，甚至是高度客制化的使用体验。

群联电子的aiDAPTIV+ 目前已经与全球多家合作伙伴携手，目标共同推进AI发展的下个新世代 – 掀起 Home Computing的浪潮!

.

支持模型列表

• • • Llama 2 7,13,70B
    • Llama 33B
    • Vicuna 33B
    • Falcon 180B
    • CodeLlama 7B, 34B, 70B
    • Whisper V2, V3
    • Metaformer m48
    • Clip large
    • Resnet 50, 101
    • Deit base
    • Mistral 7B
    • TAIDE 7B