矩阵乘法是许多领域,特别是人工智能中的基础运算。然而,即使经过优化,其计算复杂度仍然与矩阵大小的平方成正比,对于大规模矩阵而言,计算成本仍然很高。
而利用模拟信号进行计算的忆阻器,为突破这一瓶颈提供了新的思路。
忆阻器(memristor)的概念最早由华人科学家蔡少棠于上世纪70年代提出。它连接了电路中的磁通量和电量,其电阻值会随着施加的电压而改变。
忆阻器的核心功能在于“存算一体”,理论上可以使矩阵乘法的速度与矩阵大小无关。
以 2x2 矩阵乘法为例,忆阻器可以通过构建一个井字形电路来实现。电路中横竖交叉的导线交叉点放置忆阻器,通过调节电流改变忆阻器的电导值,使其与矩阵元素对应。
将被乘矩阵的列向量值转换为竖直导线的电压值,电压通过忆阻器后在横向导线中产生电流。电流大小即为电压与电导的乘积,实现了矩阵乘法中的乘法运算。
而横向导线中多条支路的电流之和,则通过并联电路的电流叠加实现了加法运算。最终,横向导线输出的电流值即为矩阵乘法的结果。
这种方法巧妙地利用物理定律,将计算过程转化为电路参数的调节和测量,无需进行显式的乘加运算。更重要的是,该方法的计算速度理论上与矩阵大小无关,并且实现了存算一体,无需额外的存储单元来保存权重参数。
忆阻器计算利用的是模拟信号,其输出结果是连续的电流值,而非离散的数字信号。相比于数字信号,模拟信号存在精度不足的问题,电路参数的微小偏差都可能导致误差累积。
尤其在神经网络中,这种误差会被逐层放大,影响最终结果。
清华大学2017年在《自然通讯》杂志上发表的一篇文章 "Faceification using electronic synapses",展示了利用忆阻器构建神经网络并成功进行人脸识别的案例。这表明,通过物理手段和计算机修正,可以有效控制模拟计算的误差,使其达到可接受的范围。
模拟信号的优势在于能耗。人脑作为一个高效的模拟信号神经网络,其能耗远低于数字电路实现的神经网络。
忆阻器模拟计算也具有同样的低能耗优势,相比于GPU进行数字计算,其能耗要低得多。
此外,对于参数量庞大的神经网络而言,权重参数的精确度要求并非绝对严格。较小的误差可以通过参数调整来弥补。
因此,只要将忆阻器的精度控制在合理范围内,模拟计算就可以满足神经网络的需求。
正如人工智能领域的泰斗 Geoffrey Hinton 所言,未来的人工智能可能不再区分软件和硬件,而是采用模拟信号的方式构建神经网络。这将极大地提高效率并降低能耗。
忆阻器如果能够实现商业化应用,将推动模拟人工智能的发展,甚至可能成为通往真正“硅基生命”的道路。