2021年11月杂志俱乐部:原子模拟的机器学习潜力

魏高

德州大学圣安东尼奥分校机械工程系

在这个期刊俱乐部中，我们简要总结了机器学习(ML)在原子材料建模方面的概念、最新进展和工具。我们希望它能对这个领域的新手和计划开发自己或利用他人ML潜力的读者有益。欢迎提出意见和讨论。

1.机器学习(ML)潜力的上升

原子模拟已经成为力学家用自下而上的方法研究材料力学行为的重要工具。万博体育平台在模拟中，描述原子间相互作用的原子间势决定了模拟结果的保真度。经典原子间势的主要缺点是受限于固定的函数形式和较少的拟合参数。因此，它们可能无法提供可靠的预测，例如，在高应力、大变形或接近失效的力学问题中。相比之下，机器学习电位不依赖于物理功能形式(因此更加灵活)，而是必须从训练数据集中学习能量表面的物理形状。因此，如果训练数据集(通常来自第一性原理计算)涵盖足够的物理，那么训练良好的ML潜力能够提供与第一性原理结果相当的准确预测。到目前为止，我们已经看到了许多为各种材料系统开发ML势的成功例子，例如[1-4]。

在以计算为导向的材料设计方案下，结合大数据的发展(如材料项目)，通过快速准确地识别具有感兴趣特性的材料系统，ML潜力在加速新材料的发现方面发挥着重要作用。例如，最近的一项研究表明，两种新型超不可压缩硬材料MoWC2和ReWB(从399,960个过渡金属硼化物和碳化物的筛选中)被鉴定出来，并通过实验成功合成[5]。在另一个例子中，作者筛选了132600个具有ThCr2Si2原型晶体结构元素修饰的化合物，共鉴定出97个新的独特稳定化合物，将高通量搜索的计算时间提高了130倍[6]。

2.ML电位的类型

ML电位大致可分为两类:(1)基于描述符的ML潜力，其中描述符(也称为“指纹”)用于描述系统中原子的环境，该环境需要满足必要的旋转，平移和排列不变性以及唯一性[7]，以及(2)。端到端ML电位，它不需要固定的描述符，而是直接从原子类型和位置学习原子环境。尽管端到端机器学习潜力利用了最新和先进的特征学习人工智能技术，但仍然没有证据表明端到端机器学习潜力在预测准确性方面优于基于描述符的机器学习潜力。

3.基于描述符的ML势

基于描述符的机器学习势可以根据不同类型的描述符和不同类型的机器学习模型进行分类。我们首先对基于描述符的电位的工作原理进行了初步解释，如图1所示，使用神经网络作为示例性ML模型。考虑一个包含3个原子的单元素系统。选择一个描述符将每个原子的坐标映射到包含4个分量的特征向量(Gij）.然后，将这些向量作为同一神经网络的输入，该神经网络由2个完全连接的致密层(每个层有5个神经元)组成，最后是一个线性层。神经网络可以看作是一个由权重矩阵和偏置向量(在训练过程中进行优化)参数化的高维函数。图1中的方程展示了神经网络内部的数学过程，其中W1、W2、W3为每一层的权值矩阵，b1、b2、b3为相应的偏置f为密层激活函数。神经网络的直接输出是原子的势能。此外，原子力可以通过使用描述符的梯度来计算(必须在训练之前生成)。神经网络可以通过最小化损失函数(例如平均误差)来训练，损失函数可以通过使用总势能、原子力和应力来测量。一旦神经网络被训练，它可以用来预测每个原子的能量和力以及一个新的原子系统的应力，这个系统可能有不同数量的原子，但必须用相同类型的描述符编码。

图1．具有3个原子的单元素系统的基于描述符的神经网络电位图。

图1所示的机器学习电位框架可以通过使用不同类型的描述符和不同的机器学习模型进行定制，从而产生许多不同类型的基于描述符的机器学习电位。具有代表性的有:(1)贝勒和帕里内洛神经网络的潜力(NNP)[8,9]:采用原子中心对称函数(ACSF)作为描述符，高维神经网络作为ML模型，其中ACSF通过径向和角向分布函数的组合来描述原子局部环境;（2）高斯近似势[10]:它使用原子位置平滑重叠(SOAP)作为描述符，高斯过程回归作为ML模型，其中SOAP是局部原子密度的函数展开;（3）光谱邻域分析电位(SNAP)[11],它采用双谱分量(局部原子密度的另一种函数展开)作为描述符，并使用线性回归模型对数据进行拟合。（4）矩张量势(MTP)[12]:它使用旋转协变张量来描述原子局部环境以及线性回归模型，其中张量可以被视为一系列径向和分布函数，如ACSF。显然，机器学习潜能的性能取决于描述符和机器学习模型的选择。最近的一项研究[13]比较了基于描述符的机器学习电位在一系列晶体结构上的性能，如图2所示“最优”的MTP、NNP和SNAP模型的计算成本往往比“最优”的GAP模型低2个数量级，更好的精度只能以更高的计算成本为代价。最后，在这些方法中没有绝对的赢家。混合描述符和ML模型可以提高性能，尽管我们还没有看到这样的研究。

图2．几种基于描述符的机器学习电位在一系列晶体结构上的性能比较[13]。

4.端到端基于图的ML电位

端到端的机器学习电位都是基于用图来描述原子系统的概念，其中机器学习网络的拓扑是基于原子结构的拓扑。端到端机器学习潜力的早期开发(从2015年到2017年)主要集中在分子上。2017年，一群谷歌研究科学家对文献中现有的端到端基于图的电位之间的共性进行了抽象消息传递神经网络(MPNNs)框架[14]，其中在原子和键上定义特征向量，原子和键分别表示为节点和边。消息只是作用于特征向量的函数。该消息函数在节点间迭代传递，以学习原子系统的图结构并更新特征向量。这种迭代过程与卷积神经网络中的迭代过程类似，所以可以称之为卷积。值得注意的是，使用不同的消息函数可以导致各种基于图的ML潜力。最近，升级的方法已应用于固态材料。在这里，我们介绍三个有代表性的。（1)晶体图卷积神经网络(CGCNN)[15]，可以看作是具有特殊消息功能的mpnn的一种特例。图3显示了晶体图的原理图，其中原子和键成为节点和边缘。该神经网络由两部分组成:第一部分，通过传递消息的R卷积学习特征向量，然后通过L1全连通密集层学习特征向量;在第二部分中，将特征向量汇集成单个特征向量，然后传递到另一个L2全连接致密层进行计算输出。显然，与图1所示的神经网络相比，特征学习是独特的部分。（2）SchNet[16]，它是一种基于连续滤波卷积的深度神经网络架构。连续滤波器，作为经典滤波器的一代，用于处理均匀间隔的数据，如图像像素，被引入处理不均匀间隔的数据(原子位置)。（3）材料图网络(MEGNet)[17],它是基于最近的图网络的，可以看作是以前的基于图的神经网络的超集。MEGNet的一个独特之处在于，它将全局状态变量(如温度)纳入训练中，以便直接预测与状态相关的属性，如自由能。注意到SchNet和MEGNet可以应用于分子和固态材料。

图3．晶体图卷积神经网络示意图[15]。(a)图的构造。(b)神经网络的结构，包括特征学习层(R卷积层和L1隐藏层)和计算输出层(L2隐藏层和输出层)。

5.ML势的工具

近年来，随着基于描述符和端到端ML潜力的各种新的ML方法的开发，已经开发了许多现成的开源包。即使对于同一类型的方法，也开发了不同的工具来实现某些特殊需求。在这里，我们将介绍几个文档完备且维护良好的工具，这些工具已连接到完善的原子模拟包(如LAMMPS和ASE)。（1)n2p2:它是一个用c++编写的基于Behler-Parinello神经网络电位的包。它可以用来训练具有势能和原子力的电位，并为LAMMPS提供接口。这个工具编码了机器学习潜能的所有方面，包括特征生成、神经网络训练和预测。这使得它对那些可以简单地将其视为黑盒的用户友好。然而，增加一些新特征也更具挑战性，比如将压力作为训练变量之一。（2）差距:一个用Python接口包装的Fortune包，由在第3节中介绍的提出GAP方法的作者开发。它在QUIP程序中运行，QUIP程序是LAMMSP中的一个插件包，因此GAP通过QUIP连接到LAMMPS。此外，它还与ASE连接。（3）SchNetPack一个基于python的包，包含第3节中介绍的端到端ML潜在的SchNet，其中ML模型是通过Pytorch实现的。封装连接到ASE，但不连接到LAMMPS。（4）KLIFF最近为促进整个原子间潜能开发过程而开发的一个包。该包可用于拟合传统的经验电位以及Behler-Parinello类型的神经网络电位(用PyTorch实现)。它与在同一组中维护的KIM包集成在一起，能够与包括LAMMPS和ASE在内的许多材料模拟包进行通信。（5）AtomDNN:我们小组最近开发了一个包，用于训练基于Behler-Parinello类型的神经网络电位，其中我们使用LAMMPS作为计算器来生成描述符并使用tf。模块，以训练势能与能量，力和应力。训练电位使用Tensorflow C api与LAMMPS集成，这些api直接与LAMMPS一起编译。代码是用户友好的，可以很容易地定制，以实现特殊需求。

6.总结与展望

机器学习电位已经证明了它们对原子模拟的重要性，以及通过有效的性质预测来设计新材料。随着新的人工智能技术的发展，该领域，特别是端到端基于图形的潜力，仍处于快速发展之中。对于力学万博体育平台家来说，机器学习电位提供了一种新的方法来训练含有丰富力学信息的有意义数据集的电位，从而可以在原子尺度上高保真地研究目标力学问题。机器学习也被应用于许多其他细观和连续尺度的力学问题，以改进现有的力学或材料模型或从数据中学习新的模型。将来有可能利用来自多个尺度的数据来训练有意义的多尺度材料模型，这些模型可以预测基于原子和中观尺度结构的综合宏观材料行为。

参考:

[1]王晓明，王晓明，王晓明，等。“机器学习是硅原子间通用的潜力。”物理评论X8.4(2018): 041048。

[2]张晓明，李晓明。“开发石墨烯的机器学习潜力。”物理检查B97.5(2018): 054303。

[3]王晓明，王晓明。“多层石墨烯的混合神经网络潜力。”物理检查B100.19(2019): 195419。

[4]张建军，张建军，张建军，等。冶金机器学习III: Al-Mg-Si的神经网络潜力。物理评论材料5.5(2021): 053805。

[5]左云星，等。arXiv预印本arXiv:2104.10242（2021）

[6]吴哲。“开发一种改进的晶体图卷积神经网络框架，以加速材料的发现。”物理评论材料4.6(2020): 063801。

[7]王晓明，王晓明，王晓明，等。“On代表化学环境。”物理检查B87.18(2013): 184115。

[8]王晓明，王晓明。"高维势能面的广义神经网络表征"物理评论信98.14(2007): 146401。

[9]贝勒，Jörg。"构建高维神经网络电位的原子中心对称函数"化学物理杂志134.7(2011): 074106。

[10]王晓明，王晓明，王晓明，等。高斯近似势:量子力学的准确性，不含电子物理评论信104.13(2010): 136403。

[11]张建军，张建军，张建军。自动生成量子精确原子间势的光谱邻域分析方法计算物理杂志285(2015): 316-330。

[12]王晓明，王晓明。矩张量势:一类系统可改进的原子间势多尺度建模与仿真14.3(2016): 1153-1173。

[13]左云星，等。“机器学习原子间潜能的性能和成本评估。”物理化学学报A124.4(2020): 731-745。

[14]王晓明，王晓明。“传递量子化学的神经信息。”机器学习国际会议．PMLR, 2017年。

[15]谢田。"晶体图卷积神经网络用于准确和可解释的材料特性预测"物理评论信120.14(2018): 145301。

[16]王晓明，李晓明，王晓明。“schnet——分子和材料的深度学习架构。”化学物理杂志148.24(2018): 241722。

[17]陈驰，等。“图形网络是分子和晶体的通用机器学习框架。”材料化学31.9 (2019): 35