华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利近日公布。摘要显示,量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度,将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理,以得到量化后的分块量化矩阵,并存储在存储器中,可以减少AI模型占用的内存。
华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利近日公布
凝芙评商业
2025-02-07 15:45:42
0
阅读:0