神经网络
分类
迭代
不止于此,各类经典物理理论进一步拓展、完善了神经网络的设计体系:对称性理论推动等变神经网络的迭代演进[2],为模型结构化设计提供严谨的约束依据;
文章
兰道尔原理[6]进一步揭示了信息处理的物理属性,指出信息擦除等逻辑操作具有不可忽略的热力学代价,表明信息处理必须依托具体的物理过程实现,因此计算能力与能耗最终受到其底层物理实现的约束。
文章
设计
架构
微分方程与物理动力学不断启发神经网络架构和生成模型的发展,例如主流扩散模型的生成机制,便依托热力学方程构建成型[3];
文章
这一系列模型设计形成了物理赋能神经网络架构设计准则:首先识别任务对应的对称变换规律,确定模型所需的不变性、等变性特征,将物理结构前置嵌入模型,替代传统的人工正则化约束。
文章