人工智能，潜力很大，但是卡住了。我猜是需要动态神经网络结构

1. 现在人工智能其实已经热度下去了一些，苹果市值超过英伟达。原因是大模型这条路，在“往大里做”这个方向，应该到头了。Scaling law总会到头，这不奇怪，GPT-5出不来，就是最大的迹象。就好像人类脑容量，上古时期有一个不断扩大的阶段，但是很久以前就不再扩大了，不是越大越好。

2. 从乐观的方面说，人类脑容量稳定后，还是越来越聪明。所以，AI还会有大发展，内部结构精细化，训练方法改进，走向AGI通用人工智能，超过人类很有希望的。许多AI大佬是这个态度了，奥特曼说2025年就干出来，有的大佬说要5年算悲观。

3. 还有一个普遍的观点，爆火的Transfomer架构，应该干不出AGI，需要想别的绝妙的神经网络结构。所以，现在人工智能大趋势，已经从“堆积算力”转向了“神奇结构”。很多学者在积极想各种结构，算力也很厉害了，得益于过去几年的疯狂突击，人工智能基础研究的条件是好多了。有什么新想法，算力足够就能很快实验出结果。

4. 不过感觉美国那边还是有点疯，气氛就是突击AGI，似乎圣杯近在眼前。我感觉不是换个神奇神经网络结构的事，而是整个神经网络研究的框架，都还是“模拟”人类智能，这一点不变，应该搞不出来。

5. 什么叫模拟智能？就是说，海量样本输入在大的神经网络里跑，看输出不对，就回头调整海量系数。最后，样本输出让人类研发者满意了，模拟结果就很像回事了。这出来的都是模拟智能，AI不知道为什么对，逼的。所有的神经网络架构创新，都还是这个方向的，最大招就是“back propagation”，BP算法，反向传输，修改系数。

6. 有点类似于小孩被迫背诵古文、九九乘法表，背不出来就打板子继续重复，最后就会了。小孩吟诗、做乘法，都挺像回事。但是，小孩的学习机制可不是什么BP算法，而是修改了脑子里的突触连接状态！也就是连神经网络的微细结构都变了！

7. 一个很有意思的细节，能说明小孩的学习办法。我们都把小时候的事忘了！为什么？这有物理背景，2-3岁的时候其实记得不少事，但是之后脑子神经网络连接先是极大丰富，又进入了一个减少连接优化结构的过程。等脑子连接结构大调整稳下来，小孩子基本什么事都不记得了，幸存下来的记忆很少。之后才能稳定记住一些事，但是脑子神经元连接也还是动态的，会遗忘，会顿悟式学习生成新连接。

8. 所以，突破应该需要动态的神经网络结构。很复杂，机理研究还很早期。现在是静态的神经网络结构，系数在变，结构不变。这个静态结构模拟智能很像回事，但其实“基础能力”很差，没有成长性。把整个互联网的数据去先训练，还是不会推理，都是假装会，原理不懂。