MIT最新论文-神经网络的语义景观范式

MIT最新论文-神经网络的语义景观范式

论文表明，grokking和具有规模的涌现与渗流现象相关，神经缩放定律可以用图上随机游走的统计来解释。语义景观范式可以补充现有旨在理解和解释深度神经网络的理论和实践方法。特别是，尺度缩放和重整化群等概念（Geiger等人2020、Bahri等人2021、Roberts等人2022）为训练动力学的本质提供的重要见解。参见此文 GPT4技术原理四：重整化群流作为最优输运。

进一步分析可见，其实作者提出的所谓的语义景观（semantic landscape），如图所示，就是语义下的对象或对象组之间的各种映射关系（箭头，态射），本质上就是“万字长文介绍为大语言模型建立的“语言、统计和范畴”数学框架”一文中的基于范畴的数学框架。殊途同归，异曲同工。

作者：王庆法

麻省理工学院物理系学者 2023.7.18最新论文 “The semantic landscape paradigm for neural networks” 提出语义景观（semantic landscape）范式，一种概念和数学框架，将神经网络的训练动力学描述为图上的轨迹，其节点对应于与神经网络学习到的表征相对应的涌现算法。这种抽象能够让我们借助统计物理学中被充分研究的问题来描述广泛的神经网络现象。