2021年11月期刊俱乐部:原子模拟的机器学习潜力

魏高

德克萨斯大学圣安东尼奥分校机械工程系

在本刊中，我们对原子材料建模的机器学习(ML)的概念、最新进展和工具进行了简要的总结。我们希望它能对这个领域的新读者有所帮助，并计划开发自己的或使用他人的ML潜能。欢迎评论和讨论。

1.机器学习(ML)潜力的崛起

原子模拟已成为力学工作者自下而上研究材料力学行为的重要工具。万博体育平台在模拟中，描述原子间相互作用的原子间势决定了模拟结果的保真度。经典原子间相互作用势的主要缺点是受限于固定的函数形式和少量的拟合参数。因此，它们可能无法提供可靠的预测，例如在高应力、大变形或接近破坏的力学问题中。相比之下，ML势不依赖于物理函数形式(因此更灵活)，但必须从训练数据集中学习能量面的物理形状。因此，如果训练数据集(通常来自第一性原理计算)覆盖了足够的物理，那么训练良好的ML势能提供与第一性原理结果相当的准确预测。到目前为止，我们已经看到了许多针对各种材料体系开发的ML势的成功例子，如[1-4]。

在以计算为导向的材料设计方案下，结合大数据(如材料项目)， ML势通过快速准确地识别具有感兴趣性质的材料系统，在加速新材料的发现方面发挥着重要作用。例如，最近的一项研究表明，两种新型超不可压缩硬材料MoWC2和ReWB(从399,960种过渡金属硼化物和碳化物的筛选中)被识别出来，并从实验[5]中成功合成。在另一个例子中，作者筛选了132600个具有ThCr2Si2原型晶体结构元素装饰的化合物，共识别出97个新的独特稳定化合物，将高通量搜索的计算时间缩短了130[6]。

2.ML电位的类型

ML电位可大致分为两类:(1)基于描述符的ML势，其中描述符(也称为“指纹”)用于描述系统中原子的环境，需要满足必要的旋转、平动和排列不变性以及唯一性[7]，并且(2)端到端ML电位，它不需要固定的描述符，而是直接从原子类型和位置学习原子环境。尽管端到端ML势利用了更先进的特征学习AI技术，但仍然没有证据表明端到端ML势在预测精度方面优于基于描述符的ML势。

3.基于描述符的ML电位

基于描述符的ML势可以根据不同类型的描述符和不同类型的ML模型进行分类。我们首先对基于描述符的势的工作原理进行了初步解释，如图1所示，使用神经网络作为ML模型的示例。考虑一个包含3个原子的单元素系统。选择一个描述符将每个原子的坐标映射到一个具有4个分量的特征向量(Gij)．然后，将这些向量作为同一神经网络的输入，该神经网络由2个完全连接的密集层(每个层有5个神经元)组成，最后是一个线性层。神经网络可以被认为是一个高维函数，用权重矩阵和偏差向量进行参数化(在训练过程中进行优化)。图1中的方程展示了神经网络内部的数学过程，其中W1、W2、W3为每一层的权值矩阵，b1、b2、b3为对应的偏差，f为密集层的激活函数。神经网络的直接输出是原子的势能。此外，原子力可以通过使用描述符的梯度来计算(必须在训练之前生成)。神经网络可以通过最小化损失函数(例如平均误差)来训练，可以使用总势能，原子力和应力来测量。一旦神经网络被训练，它可以用来预测每个原子的能量和力，以及一个新的原子系统的压力，这个新原子系统可能有不同的原子数量，但必须由相同类型的描述符编码。

图1．具有3个原子的单元素系统的基于描述符的神经网络势图。

图1所示的ML势框架可以通过使用不同类型的描述符和不同的ML模型进行定制，从而产生了许多不同类型的基于描述符的ML势。具有代表性的有:(1)Behler和Parrinello神经网络势(NNP)[8,9]:以原子中心对称函数(atom centered symmetry functions, ACSF)为描述子，以高维神经网络为ML模型，其中ACSF通过径向分布函数和角度分布函数的组合来描述原子局部环境;（2）高斯近似势(GAP)[10]:使用以平滑重叠原子位置(SOAP)为描述子，以高斯过程回归为ML模型，其中SOAP是局部原子密度的函数展开;（3）谱邻分析势(SNAP)[11],它采用双谱分量(局部原子密度的另一种函数展开)作为描述符，并使用线性回归模型来拟合数据。（4）矩张量势(MTP)[12]:它使用旋转协变张量和线性回归模型来描述原子局部环境，其中张量可以被视为一系列径向和分布函数，如ACSF。显然，ML势的性能取决于描述符和ML模型的选择。最近的一项研究[13]比较了基于描述符的ML电位在一系列晶体结构上的性能采用单CPU核心，如图2所示“最优”MTP、NNP和SNAP模型的计算成本往往比“最优”GAP模型低2个数量级，并且只有以更大的计算成本为代价才能获得更好的精度。最后，这些方法中没有绝对的赢家。虽然我们还没有看到这样的研究，但混合描述符和ML模型可能会提高性能。

图2．几种基于描述符的ML电位在晶体结构[13]上的性能比较。

4.端到端基于图的ML势

端到端的ML势都是基于用图来描述原子系统的概念，其中，ML网络的拓扑结构是基于原子结构的拓扑结构。端到端ML势的早期发展(2015年至2017年)主要集中在分子方面。2017年，一群谷歌研究科学家在现有的文献中，采用一种基于图的端到端势函数，抽象出它们之间的共性消息传递神经网络(MPNNs)框架[14]，其中特征向量定义在原子和键上，分别表示为节点和边。信息只是作用于特征向量上的一个函数。该消息函数在节点之间迭代传递，以学习原子系统的图结构并更新特征向量。这种迭代过程类似于卷积神经网络中使用的迭代过程，因此可以称为卷积。值得注意的是，使用不同的消息函数可以导致各种基于图的ML势。最近，升级的方法已被应用于固态材料。在这里，我们介绍三个有代表性的。(1）晶体图卷积神经网络(CGCNN)[15]，可以看作是具有特殊消息功能的mpnn的一种特殊情况。图3显示了其中原子和键成为节点和边的晶体图的示意图。该神经网络由两部分组成:第一部分通过消息传递R卷积学习特征向量，然后是L1全连通密集层;在第二部分中，将特征向量合并为单个特征向量，然后将该特征向量传递给另一个L2全连接密集层进行计算输出。显然，与图1所示的神经网络相比，特征学习是唯一的部分。（2）SchNet[16]，这是一个基于连续滤波器卷积的深度神经网络架构。连续滤波器是用于图像像素等等距数据的经典滤波器的一代，用于处理不等距数据(原子位置)。（3）材料图网(MEGNet)[17],它基于最近的图网络，可以被视为以前基于图的神经网络的超集。MEGNet的一个独特之处在于，它将全局状态变量(如温度)纳入训练，以便直接预测与状态相关的属性，如自由能。值得注意的是，SchNet和MEGNet既可以应用于分子材料，也可以应用于固态材料。

图3．说明晶体图卷积神经网络[15]。(a)图表的构造。(b)神经网络结构，包括特征学习层(R卷积层和L1隐藏层)和计算输出层(L2隐藏层和输出层)。

5.ML电位工具

近年来，针对基于描述符和端到端ML潜能的各种新的ML方法，开发了许多现成可用的开源包。即使对于同一类型的方法，也开发了不同的工具来满足某些特殊需求。在这里，我们将介绍几个良好记录和维护的工具，这些工具已连接到已建立的原子模拟包，如LAMMPS和ASE。(1）n2p2:它是一个基于Behler-Parinello神经网络势的c++编写的包。它可用于用势能和原子力训练电势，并提供与LAMMPS的接口。该工具将ML潜能的所有方面编码在一起，包括特征生成、神经网络训练和预测。这使得它对那些可以简单地将其视为黑盒的用户很友好。然而，添加一些新特征也更具挑战性，例如将压力添加为训练变量之一。（2）差距:一个用Python接口包装的Fortune包，由提出第3节中介绍的GAP方法的作者开发。它在QUIP程序中运行，QUIP是LAMMSP中的一个插件包，因此GAP通过QUIP连接到LAMMPS。此外，它还与日月光相连。（3）SchNetPack:一个基于python的包，包括第3节中介绍的端到端ML潜力SchNet，其中ML模型是通过Pytorch实现的。该包连接到ASE，但不连接到LAMMPS。（4）KLIFF:最近为促进整个原子间电位开发过程而开发的软件包。该包既可以用来拟合传统的经验势，也可以用来拟合Behler-Parinello类型的神经网络势(用PyTorch实现)。它与KIM包集成在同一个组中，能够与包括LAMMPS和ASE在内的许多材料模拟包通信。（5）AtomDNN:我们小组最近开发的一个包，用于训练Behler-Parinello类型的基于神经网络的电位，其中我们使用LAMMPS作为计算器来生成描述符并使用tf。Tensorflow2中的模块，用能量、力和应力来训练势能。使用直接用LAMMPS编译的Tensorflow C api，将训练好的电位与LAMMPS集成。代码是用户友好的，可以很容易地定制，以实现特殊需求。

6.总结与展望

ML势已经证明了它们对原子模拟的重要性，以及通过有效的性能预测来设计新材料。随着新人工智能技术的发展，该领域，特别是基于端到端图形的潜力仍在快速发展中。对于力学万博体育平台工作者来说，ML势提供了一种新的方法，可以用包含丰富力学信息的有意义的数据集来训练势，从而可以在原子尺度上高保真地研究目标力学问题。机器学习也被应用于细观和连续尺度的许多其他力学问题，以改进现有的力学或材料模型或从数据中学习新的模型。未来有可能利用多尺度的数据来训练有意义的多尺度材料模型，可以预测基于原子和细观尺度结构的综合宏观材料行为。

参考:

[1] Bartók，艾伯特P.，等。“机器学习是硅的通用原子间作用潜力。”物理评论X8.4(2018): 041048。

[2]罗，帕特里克，等。“开发石墨烯的机器学习潜力。”物理评论B97.5(2018): 054303。

[3]温明剑，埃拉德·b·塔德莫。“多层石墨烯的混合神经网络潜力。”物理评论B100.19(2019): 195419。

[4] Jain, Abhinav CP，等。冶金机器学习III: Al-Mg-Si的神经网络潜力物理评论材料5.5(2021): 053805。

[5]左云星，等。arXiv预打印arXiv:2104.10242(2021)

[6] Park, Cheol Woo和Chris Wolverton。“开发一种改进的晶体图卷积神经网络框架，用于加速材料发现。”物理评论材料4.6(2020): 063801。

[7] Bartók, Albert P.， Risi Kondor, Gábor Csányi。“关于表现化学环境。”物理评论B87.18(2013): 184115。

[8] Behler, Jörg和Michele Parrinello。高维势能曲面的广义神经网络表示物理评审信98.14(2007): 146401。

[9]贝勒，Jörg。“用于构建高维神经网络势的原子中心对称函数”化学物理杂志134.7(2011): 074106。

[10] Bartók，艾伯特P.，等。“高斯近似势:量子力学的精确性，没有电子。”物理评审信104.13(2010): 136403。

[11]汤普森，艾丹P.，等。自动生成量子精确原子间势的光谱邻域分析方法。计算物理杂志285(2015): 316-330。

沙佩夫，亚历山大五世。矩张量势:一类系统改进的原子间势。多尺度建模与仿真14.3(2016): 1153-1173。

[13]左云星，等。机器学习原子间势的性能和成本评估物理化学杂志A124.4(2020): 731-745。

[14]吉尔默，贾斯汀，等。“量子化学的神经信息传递。”机器学习国际会议．PMLR, 2017年。

[15]谢，田，杰弗里·c·格罗斯曼。“晶体图卷积神经网络用于准确和可解释的材料性能预测。”物理评审信120.14(2018): 145301。

[16] Schütt, Kristof T.，等。“schnet -分子和材料的深度学习架构。”化学物理杂志148.24(2018): 241722。

[17]陈，迟，等。“图网络作为分子和晶体的通用机器学习框架。”材料化学31.9 (2019): 35