|
今天给大家介绍来自牛津大学克拉伦登实验室和俄罗斯量子力学中心的A.I.Lvovsky团队与来自InstaDeeP公司和牛津大学克拉伦登实验室的Thomas D. Barrett合作发表在《Nature Machine Intelligence》的论文《Autoregressive neural-network wavefunctions for ab initio quantum chemistry》。该论文提出使用神经网络参数化波函数，引入高效且可扩展的采样，在嵌入反映分子系统结构的物理先验的同时，保留网络的表达能力。  背景介绍 量子化学（QC）第一性原理计算需要求解重原子核和轨道电子相互作用的多体薛定谔方程。原则上，求解薛定谔方程可以完整的描述分子的化学性质。然而，超乎寻常的系统复杂性，使得多体电子结构计算是一个NP-hard问题。为了解决这个问题，科学家们致力于将数值方法应用于量子化学系统。但电子结构复杂的非局部交互特性和高采样难度，给使用神经网络量子态计算带了极大的困难。 神经网络量子态计算旨在计算具有Ne个电子的分子系统的基态。使用全构型相互作用(Full configuration interaction, FCI)来计算分子系统的基态，需要计算电子占据轨道的反对称张量积（Slater行列式）。当系统的大小增长时，Slater行列式的可能数量呈指数增长。这样，使用FCI计算Slater行列式迅速变得难以处理。量子化学第一性原理通常对参考状态(Hartee Fock状态，即单个能量最低的Slater行列式)进行系统修正。一般有三种方法，1)构型交互方法，将电子轨道的可能活动空间限制为构型字符。且这些构型的字符有别与不超过一定激励的参考字符；2)耦合聚类(coupled-cluster, CC)，使用一定顺序的非线性激励算子组合来表示任意激励的Slater行列式。但耦合聚类方法不能参数化任意量子态的叠加。这两种方法都牺牲了表达能力以降低系统的复杂性，但他们都是基于典型结构的波函数设计的，通常提供了良好的表达能力。然而，即使是最精确的CC方法在系统存在强静态相关时(即当对单个Slater行列式的系统矫正无法充分描述波函数时)仍然可能失败；3)对波函数进行紧凑的参数化，例如Jastrow-Slater ansatz或矩阵积态，然后利用随机或非随机方法对其进行优化，以找到基态。 2017年，Carleo和Troyer证明，基于受限玻尔兹曼机(RBM)的神经网络可以参数化一个多体波函数，并捕获指数大编码希尔伯特空间内的非琐碎相关性。随后，神经网络量子态(NNQSs)已被证明是一些问题的可行变分 ansatzes(拟设)，如寻找有相互作用自旋系统的基态、量子态层析成像和量子计算的经典模拟。大多数NNQSs的发展一直在凝聚态物理(CMP)的背景下，近期研究表明费密子电子结构问题可以被映射一个相互作用的旋转系统的等效优化问题，为将NNQSs应用于量子化学打开了大门。然而，RBM模型的采样程序（如马尔可夫链，蒙特卡罗方法近似的玻尔兹曼分布编码）低效。此外，RBM是一个黑匣子，不能反映分子系统的物理先验。因此，仍需寻找克服这些缺点的神经网络架构。 在这项工作中，作者提出神经网络模拟分子二次量化的波函数，以解决上文提到的挑战。通过考虑波函数的自回归分解，本文演示了一种高效的采样算法，该算法固有地并行化，并根据采样的唯一构型字符串数量缩放。使用前馈结构，使得模型可以使用标准的反向传播技术来训练网络，并将重要的物理先验(即守恒量和不变性)嵌入到波函数中，而不牺牲其表达能力。最终，这使NAQS能够在比传统NNQS至少大25倍的系统上接近FCI效果。 2 模型结构 如图1所示，模型的自回归网络如图1(a)所示，使用Subnetwork(图1(b))对空间布局字符  图1.ARN网络结构 模型的推理和采样的框架如图2所示。如图2(a)所示在推理阶段，模型评估给定构型字符串xk的对数振幅，以及该构型字符串对应于网络的单个前馈传递。如图2(b)所示，采样的任务是根据底层的分布  图2.自回归量子态（NAQS）模型框架 3 结果分析 如表1所示，NAQS在所有分子上都实现了强劲的预测能力。作者使用Hartree Fock能量(HF)、单激励和双激励下的构型相互作用计算(CISD)，双激发耦合簇方法(CCSD)和三激发耦合簇方法(CCSD(T))作为近似量子化学计算的baseline。如表1所示，与baseline相比，NAQS在所有分子上都表现出优异的性能。在分子(LiCl)具有高达20个电子和28个自旋轨道的情况下，即使最复杂的baseline已经失效，NAQS依然能获得接近或符合FCI结果。事实上，即使在具有40M个物理上有效的基行列式的分子(Li2O)的FCI计算上，NAQS仍然优于CCSD和CISD。一个明显的例外是，CCSD(T)预测的Li2O能量较低;这个结果也低于FCI极限(因此是非物理的)。相反NARN ansatz保证其输出状态的物理有效性。  表1.使用不同baseline和NAQS的变体获得分子的基态能(单位Ha) 图3进一步说明了NAQS的优越性，在图3中，即使在耦合激发簇(coupled-cluster，CC)基线失效的区域，NAQS在N2势能面计算上也保持了与FCI-like一致的准确性。  图3.利用NAQS方法和传统QC方法获得的双原子氮分子的能量比较  表2.NAQS与RBM的性能比较 为了直接比较NAQS与RBM的性能，作者将NAQS应用于RBM中给出的分子几何形状，这些结果总结在表2中。 如表2所示，将NAQS的结果与Choo等人使用受限玻尔兹曼机(RBM)在二次量化分析中将神经网络量子态(NNQS)应用于QC的最好的(也是唯一的)方法进行比较，具有启发性。RBM的神经网络量子态超过CC方法的最大系统是C2 (44.1k个行列式)，在具有约1.6M个行列式的系统上，对较大分子的约束采样性能优于CISD。NAQS的ansatz可以扩展到比H2大一个数量级以上的系统而不损失性能，并且在每个比H2大的分子上都优于RBM(NAQS在分子H2上取得了和RBM相当的结果)。 作者还观察到大分子优化空间采样不足的问题，具体来说，在遮蔽非物理行列和不遮蔽非物理行列式的情况下，对于LiCl和Li2O，NAQS通常在训练期间至少一次分别只采样～28%(20%)和～5%(1%)的物理行列式，仍然学习到精确波函数所需的构型信息。这表明，神经网络可以很好的生成新的构型,并且提供了一种有效地探索和隔离整个优化空间的重要组件的方法。 经过一段初期的搜索，自回归神经网络(autoregressive neural network, ARN)通常分离出少数主导模型表现的决定性因素。之后的优化过程会微调这些决定因素的振幅。例如，即使没有用掩码将ARN限制为仅物理可行性的决定因素，Li2O的最后一步也可以生成1012个样本，仅分布在13,761个唯一决定因素上。如果取出由这些行列式张成的子空间，并简单地对角化哈密顿量，可以得到87.8911Ha的能量，这甚至比ARN发现的能量(87.8909Ha)更低。这表明使用混合方法，将规范数值方法应用于网络发现的构型的子空间，可以实现更低的能量预测。 烧蚀实验： 为了检查将物理先验编码对NAQS的影响，表1还包括了两个消融的结果。无掩码的NAQS可以为  图4. NAQS模型变体在优化过程中获得的效能(标准)，以及将优化空间限制为物理可行行列(No mask)和自旋翻转对称性的相关消融 虽然移除这两种物理先验中的任何一种都会导致性能的轻微下降，但影响是微小的。然而，当我们考虑多次初始化的性能时，区别是显而易见的。图4显示了在执行多次优化的6个大分子上，每次运行获得的能量，以及能量的平均值。当物理知识被编码到系统中时，平均能量得到了改善。此外，在少数情况下，最好的结果是在消融实验中得到的(例如，LiF上没有掩码)，很明显，这是一个偶然的结果，而不是系统的效果。一般来说，这些烧蚀的影响只在较大的系统上可见，如图4所示。这似乎是合理的，因为随着希尔伯特空间维度的增加，可能的配置字符串集呈指数增长，因此在已知的先验约束下，减小其大小变得更加关键。 4 总结 该论文提出了一种基于量子化学第一性原理的ARN ansatz，它在多达30个自旋轨道的分子系统获得了接近FCI能量。即使在正则近似方法失败的情况下，性能依然强劲。这一成功归功于将物理先验嵌入网络，以及高效的采样程序。该程序可以根据采样的唯一构型数量而不是整个批处理大小进行缩放。最终，该系统扩展方法远远超出了之前基于机器学习二次量化QC方法。 数据和代码 https://github.com/tomdbar/naqs-for-quantum-chemistry 参考资料 Barrett, T.D., Malyshev, A. & Lvovsky, A.I. Autoregressive neural-network wavefunctions for ab initio quantum chemistry. Nat Mach Intell 4, 351–358 (2022). https:///10.1038/s42256-022-00461-z |
|
|
的四种可能的立体基阵的振幅进行对数规范化。然后进行采样,作为下一阶段网络的输入数据。ARN网络中第i个子网络接受部分配置字符串
生成xk。该过程是为了输出唯一的构型字符串而定制的，其中每个字符串都与一个数字nk相关联，nk表示如果使用标准过程(包括对配置进行N次独立采样)，它将发生多少次。
