稀疏化80%！Graphcore携手Aleph Alpha解锁人工智能计算 ...

电杆老中医

近日，Graphcore拟未携手合作伙伴Aleph Alpha公布了双方在人工智能计算效率方面的重大进展——将一个130亿个参数的模型稀疏化至仅26亿个参数。
这项先进的技术利用了IPU对点稀疏矩阵乘法的支持（这是IPU专为人工智能设计架构的特点），在保留模型大部分功能的同时，删除了约80%的模型权重。
这两家公司在得克萨斯州的SC22上，展示了Aleph Alpha的商用Luminous对话机器人（Luminous Chatbot）的稀疏化变体。
和其密集型相比，Luminous Base Sparse使用的处理FLOPs仅为20%，使用的存储仅为44%。重要的是，它的26亿个参数可以完整储存在IPU-POD16 Classic的超高速片上存储中，使其性能最大化。
参数剪枝

目前，大多数人工智能应用都使用密集型模型，对所有的参数进行相同形式的表示和计算，无论这些参数它们是否对模型行为产生了影响。因此，宝贵的处理时间和存储被用于储存和执行没有影响的参数的计算。
Aleph Alpha和拟未能够“修剪”80%的不相关权重，并重新训练只使用重要权重的Luminous模型。这些权重用压缩稀疏行（CSR）格式表示。


推理所需的计算FLOPS下降至密集型模型的20%，而存储使用减少至44%，这是由于需要一些额外的容量来储存其余非零参数的位置和值的信息。
该稀疏化模型的能耗也比密集型模型低38%。


https://www.zhihu.com/video/1576286358838202368
关键效率

人们认为，在应对人工智能模型规模的指数级增长和对计算需求的相应增加方面，稀疏化非常重要。
语言、视觉和多模态模型能力的很多进步都是由规模驱动的。然而，训练计算量随参数数量的平方增加，这带来了成本的上升，运营和扩展越来越大的人工智能解决方案的可持续性也因此受到质疑。
对于能力甚至远在分布尾部的下一代模型，稀疏化将变得非常重要，使高度专业化的子模型能够有效地掌握相对应的专业部分的知识。
使用诸如粗粒度稀疏性或选择性等技术提供了实现持续快速进步的潜力，并实现了计算量的可持续线性增长。
人工智能计算需求面临的巨大下行压力，扩大了Aleph Alpha等人工智能初创公司的商业潜力，这些公司能够以尽可能小的计算需求为客户部署高能力模型。
Aleph Alpha

拟未和Aleph Alpha在2022年早些时候首次宣布了在研究和模型部署方面进行合作的意向。
Aleph Alpha正在开发欧洲制造的原创多模态模型，其中包括广受赞誉的Luminous。Luminous能够处理多语种的语言任务，以及理解和回答任何语言和视觉信息组合的相关背景问题。
原始的Luminous模型可通过API向希望建立人工智能驱动的产品和服务的公司及组织提供商业服务。
拟未和Aleph Alpha提供基于其稀疏的Luminous Base和300亿个参数的Luminous Extended模型的商业应用，其中包括面向（基于企业知识的）应用的对话式用户体验。



Aleph Alpha的alphaONE数据中心里的拟未IPU

查看英文blog，请至：
本篇博客作者：
Steve Barlow

属于我的角落

回个帖子，下班咯~