在人工智能领域,记忆解决方案成为最大的方向

日期:2023-12-05 12:23:42 / 人气:153

在人工智能领域,记忆解决方案成为最大的方向。智能智芯生产的SK海力士预测,在人工智能(AI)领域,内存解决方案的比重将进一步增加,图形处理单元(GPU)可以被类似AiMX的解决方案部分替代。在首尔江南科技会议中心举行的“ETRI会议2023”上,SK海力士副总裁表示,对于BERT这样的机型,内存密集型功能只占5%左右,而在GPT2中,内存功能占45%左右。在175B GPT3中,内存密集型功能已经达到92%。内存密集型函数是GEMV,即矩阵和向量的乘法,是大型语言模型(LLM)的核心。“现在LLM的GEMV内存密度比已经达到92%”,并解释说“92%由内存中的加速器(AiM)处理,剩下的8%由AiM控制处理。SK海力士计划将AiM控制器改为AiMX专用SoC,而不是FPGA。AiMX是SK海力士去年发布的一款基于内存的加速器,专门针对内存密集型函数计算进行优化。它配备了16个1GB GDDR6-AiM和2个可编程半导体(FPGA)。”设计AiM控制中枢的成本太高。首先,使用FPGA创建了一个加速器。当您创建自己的片上系统时,将会添加更多的GDDR6-AiM来制作64GB或更大的产品。“在LLM中,AiMX的延迟比GPU快13倍,功耗降低17%。与GPU相比,LLM具有更优越的性能。”它主要供应AiM芯片,并提供参考设计以帮助超大规模的客户,”并表示SK海力士将支持加速器系统的创建。由于该公司最大的客户之一是GPU公司,所以我们在推广AiMX时需要小心谨慎,以确保其利益与客户的利益重叠。

作者:恒达娱乐




现在致电 5243865 OR 查看更多联系方式 →

COPYRIGHT 恒达娱乐 版权所有