2020年2月杂志俱乐部:力学中的机器学习:简单的资源，例子和机会

力学中的机器学习(ML)是一个迷人而及时的话题。通过回顾我过去和现在与该领域的学生和合作者的研究成果，本文将提供一些关于使用ML算法来解决力学问题的想法。首先为不熟悉该主题的同事提供ML的简要介绍，然后是关于ML在力学中的有用性的部分，最后我将反思该领域的挑战和机遇。欢迎您提出意见和改进建议。

1.介绍(对于不熟悉ML的人)

ML已经存在了60多年，交替经历了欣快和怀疑的时期https://www.import.io/post/history-of-deep-learning/．然而，在过去的十年中，由于使用通用编程语言(例如Python)编写的开源软件，该领域对非专业人员来说变得更加容易访问。不出所料，机器学习的早期采用者是在具有开放数据库的领域，从模拟或实验中收集大量数据，如生物信息学。https://www.ncbi.nlm.nih.gov/)、化学(如:https://pubchem.ncbi.nlm.nih.gov/)和材料科学(如:http://oqmd.org/和http://aflowlib.org/）.然而，只要一个问题有足够的数据可用，机器学习就可以影响任何科学学科。机制也不例外，尽管它具有特定的挑战(参见第3节)。

为了讨论的目的，我将关注ML的两个分支:监督学习(回归和分类)和无监督学习(聚类)。第三个主要分支，强化学习，不在这里讨论。

如果您是ML的新手，并且希望获得一些实践经验，我建议您从Scikit-Learn (https://scikit-learn.org/) -本建议不存在利益冲突。它的用户界面很简单，因为它是用Python编写的，并且文档非常有用，因为它从最严格的算法(例如普通最小二乘等线性模型)开始，并以限制最少的算法(例如神经网络)结束。这很重要，因为它在应用ML算法解决问题时提供了正确的思维方式:就像你不用飞机从客厅到厨房一样;您可能不想使用神经网络来发现您的数据是由二阶多项式描述的。此外，Scikit-learn的文档还对每个算法进行了简单的介绍和多个示例(包括源代码)。这允许您尝试不同的算法，甚至在您了解它们的内部工作原理以及为什么某些算法比其他算法更好地解决给定问题之前。

我用简单的例子创建了一个脚本，需要Scikit-learn和Keras (https://keras.io/)，可用于复制本节的数字，并获得有关误差度量的更多信息。该脚本名为“Intro2ML_regression.txt”，它要求您在系统中安装Scikit-learn和Keras。请将扩展名从。txt改为。py来运行它。Keras是一个用于创建神经网络模型的高级应用程序编程接口(API)。它与强大的机器学习平台接口，优化性能，TensorFlow或Theano，同时保持用户友好。

1.1.监督学习:回归

即使你不熟悉机器学习，作为一名工程研究人员/实践者，你可能会面临简单的回归任务(曲线拟合)，在这些任务中，你会得到一组离散点(训练数据)，你想要找到一个连续函数(模型)，该函数(模型)可以插值所有点，或者通过平滑来描述数据的一般行为(例如最小二乘回归)。此任务的结果是描述数据的参数函数，例如y=ax3+bx+c，并且应该预测未包含在拟合过程(测试数据)中的数据点。让我们考虑一个例子:下图显示了使用8个训练点(红点)的三个不同多项式的最佳拟合。红色虚线表示真实的函数(待发现)，黑色叉表示该函数内未用于拟合多项式的测试点。注意，7次多项式是插值的，而其他两个多项式不是(平滑数据)。然后通过简单的误差度量来评估预测的质量，例如，在测试点的模型预测之间计算平均最小二乘法。例如，下图中x=0附近的测试点与三个多项式模型提供的预测相距甚远，导致均方误差很大。

与多项式拟合类似，机器学习算法也能够通过监督学习进行回归。然而，机器学习算法创建的模型不是参数化的。换句话说，这些算法有太多的参数，试图获得底层的解析表达式是没有意义的。因此，人们通常将ML模型称为黑盒子:它们具有预测性，但我们不知道模型的分析形式。我们失去了洞察力，但我们获得了非常强大的回归工具。

1.1.1.选择ML算法

为了说明不使用飞机从客厅到厨房的论点，考虑两个经典的ML算法:

非贝叶斯公式中的神经网络(NNs):典型的ML算法，基于数百万个连接依赖权重的神经元(节点)的简单传递函数的组合。训练包括找到大量的权重，使它们与数据相匹配。神经网络是非常简单的算法，因此它们具有极高的可扩展性(它们可以轻松处理数百万个数据点)。然而，正如您所想象的，训练不是一个简单的过程，因为找到每个连接的权重的可能性非常大。

高斯过程(gp):一种贝叶斯或概率机器学习算法，这意味着它预测响应以及不确定性。该算法具有突出的回归能力，总体上易于训练。不幸的是，这种算法的可扩展性很差，因此它仅限于小型数据集(大约10,000个点)。

下图显示了对上述用于多项式拟合的相同训练数据训练GPs和nn的结果。可以观察到，即使只使用8个点，gp也提供了函数x*sin(x)的极好近似值，并且它们还量化了与训练数据不同的不确定性。然而，在这样一个稀缺的数据集上训练神经网络要困难得多。在这里提供的脚本中，有一个网格搜索，可以帮助通过交叉验证为神经网络找到合理的参数(神经元、epoch等)，但您可以自己尝试，找到合适的模型并非易事。该脚本还包括比我在这里介绍的更多的信息，例如在训练和测试数据上获得的损失与epoch的数量，以及三种近似算法的均方误差。这里的主要观点是为了说明我的飞机类比:nn通常不是近似低维和稀缺数据的最佳选择。然而，请注意，gp和nn都明显比多项式回归更接近函数。

1.1.2.我们是否先验地知道是否有“足够”的训练点?

不。考虑第二个示例，其中要发现的函数现在是同一域中的x*sin(3x)。如果我们使用8个训练点，就像我们找到x*sin(x)一样，我们的近似显然是最差的，如下图所示。因此，我们需要更多的训练数据来近似这个具有相似质量的新函数。因此，我们只知道我们有足够的训练数据，通过迭代地评估我们的近似对测试数据的误差。当误差收敛到一个合理的值(或者当你没有更多的数据!)时，我们停止增加训练数据的大小。在实践中，由于维度的诅咒，当我们的问题有许多输入变量时，训练数据的大小可能需要非常大:每个额外的输入变量都会导致需要采样的体积呈指数增长。这可能是一个很大的限制，因为我们可能没有适当学习所需的数千或数百万个训练数据点。

1.1.3.如果我的数据有噪声或不确定怎么办?

噪声数据集在工程中非常常见。来自实验的数据往往依赖于环境波动、材料缺陷等。请注意，即使数据来自模拟，数据集仍然可能是嘈杂的(随机的)。例如，结构屈曲的模拟依赖于模型中考虑的几何缺陷。如果这些缺陷是从统计分布中抽样的，那么这些属性将不是确定性的。下图说明了随机性的恶劣影响。数据是通过扰动相同的x*sin(x)函数生成的，但现在我们用高斯噪声扰动它，其中(两次)标准差由数据中的竖条表示。如图所示，19次多项式(插值)存在严重的过拟合问题，而训练gp和nn可以适当地预测响应。然而，需要训练神经网络以确保不会发生过拟合，这在实践中是通过交叉验证和观察训练和测试数据中损失数据的演变来进行训练的。

1.1.4.机器学习和优化有什么区别?

ML的目标是学习一个描述整个数据集的模型，并预测每个地方的响应，而优化的目标是找到最优点，即它不关心远离最优的区域。原则上，如果你只想找到最优的一次，你不应该需要使用传统的ML算法，因为直接优化可能更快。然而，有时机器学习可以帮助优化过程，因为它可以提供一个代理模型，即一个合理地描述数据且可微分的模型。有一个简单的例子可以直观地说明从ML中获得代理模型的好处，那就是考虑上面的噪声数据集。ML算法可以通过将其视为不确定性来学习底层函数并忽略噪声(平滑响应面)，这极大地促进了寻找最优解的任务。这有一个额外的好处，可以使用基于梯度的优化方法!然而，这是有代价的。如果您在学习代理模型中远离最优的区域上花费了大量的计算工作，那么您就是在浪费资源，而这些资源本可以通过单独的优化算法得到更好的利用。因此，在探索新区域和开发找到最优值的可能性高的区域之间进行权衡。

1.2.监督学习:分类

分类可能是机器学习中最广为人知的任务。机器学习算法不是学习连续模型，而是学习离散类。在理解了如何训练回归任务之后，分类并没有显著的不同。典型的例子是从(许多)猫和狗的图像中学习如何将看不见的图像分类为猫或狗。培训以与1.1中描述的非常相似的方式进行。如第2节所述，分类对于确定包含有趣信息的设计空间的边界(可以在其中执行优化或回归)非常有用。

1.3.无监督学习

这些机器学习算法试图在没有预先存在的标签的数据中找到模式。聚类是一种典型的无监督学习任务，算法根据选定的度量找到具有相似特征的点组。在力学中，熟悉Voronoi图的人应该很清楚聚类是如何工作的，因为该算法是一种重要的无监督学习方法k-means聚类的基础。下一节还提供了一个来自我们工作的例子来说明无监督学习在力学中的有用性。

2.ml在力学中有用吗?

当我们需要访问大型数据库来解决感兴趣的问题时，当分析解决方案未知时，ML特别有用。在力学中，这些条件可能很难满足，这将在第3节中讨论。然而，在许多情况下，ML算法在解决力学问题时非常有用。我将重点介绍几个示例，并提供可用于解决不同问题的代码链接。我们的小组正在努力使这些代码更易于转移和更用户友好。我也邀请你在下面的评论中分享你自己的例子。

2.1.分类与回归:贝叶斯机器学习辅助的超材料设计[1]

超材料设计主要是一种旨在获得新材料性能的几何探索。机械超材料倾向于探索极端屈曲和后屈曲行为，这意味着感兴趣的性质对几何缺陷很敏感。在这种情况下进行设计是具有挑战性的，因为数据库包含不确定的属性(噪声)，而且感兴趣的区域可能很窄(在上图中，黄色区域对应的是超材料拓扑被归类为可逆超压缩的唯一区域)。如第1节末尾所示，ML特别适用于不确定性下的学习，在贝叶斯ML的情况下，它甚至可以预测模型预测的不确定性。这有利于设计空间的导航，以及随后的稳健优化。使用一种新的贝叶斯机器学习方法[2]，将传统的高斯过程扩展到更大的数据库规模(>100,000个训练点)，我们表明，通过直接从有限元模拟中学习，而无需在超材料层面进行实验(仅表征基础材料)，超材料可以变得超压缩[1]。然后，通过在宏观尺度(上图)和微观尺度(下图)上对脆性基础材料制作的3D打印样品进行机械测试，对超压缩超材料进行了事后实验验证。

本文使用的代码如下:https://github.com/mabessa/F3DAS

关于这项工作的通用视频:https://www.youtube.com/watch?v=cWTWHhMAu7I

2.2.聚类:非均质材料塑性性能的数据驱动建模[3,4]

在与Zeliang Liu和Wing Kam Liu[3]合作开发的工作中，我们创建了一种新的数值方法，称为自一致聚类分析(SCA)，其中塑性非均质材料损伤模拟的计算时间从超级计算机中的1天减少到几秒/分钟。该方法的关键思想之一是使用聚类机器学习算法通过分组具有相似力学行为的点来压缩异质材料的信息。这使得创建足够大小的数据库能够通过我们在[4]中创建的数据驱动框架来模拟这些复合材料的韧性变化。数据驱动框架的代码类似于前一个(F3DAS)，但它是量身定制的，以创建具有代表性的材料体元素:https://github.com/mabessa/F3DAM

下图显示了通过数据驱动框架学习到的不同延性基体材料的复合韧性变化。在图中，每个蓝点表示SCA获得的一个模拟。

2.3.深度学习:用递归神经网络预测历史或路径依赖现象[5]

我们在[4]中面临的一个困难是无法使用ML算法学习历史依赖或路径依赖的现象。这是非常重要的，因为需要在输入和输出之间构建的ML映射不再是唯一的，即有不同的路径到达相同的状态，并且状态依赖于以前发生的状态的历史。然而，在与Mojtaba Mozaffar等人合作开展的研究中[4]，我们发现递归神经网络(rnn)具有学习路径依赖可塑性的能力。原则上，任何不可逆的依赖于时间或路径的过程都可以通过rnn或等效算法来学习，尽管训练过程可能很困难。这里使用与[4]相同的基础代码，这次使用rnn作为ML算法:https://github.com/mabessa/F3DAM

下图显示了不同变形条件和路径下的屈服面演变。有限元预测用虚线表示，深度学习预测用实线表示。注意不同加载路径下屈服面的畸变，这是由rnn预测的。

3.挑战与机遇

机器学习和力学领域存在着巨大的挑战和机遇。巧合的是，上周有一个CECAM-Lorentz研讨会，由Pedro Reis (EPFL)， Martin van Hecke (Leiden/AMOLF)， Mark Pauly (EPFL)和我(TU Delft)共同组织，在那里有一个关于这个话题的公开讨论。以下几点反映了部分讨论，但它们是我对这个话题的个人观点和观点。我很高兴根据反馈扩大这个列表:

1.高通量实验:数据饥渴的ML算法给实验人员带来了挑战，因为它们促进了高通量实验的创建。此外，通过集中式存储库开放共享数据可能成为一种必要。

2.提高复杂模拟的效率:有许多模拟的高计算费用仍然影响机器学习和数据驱动方法的使用。在固体中，断裂和疲劳仍然是一个挑战，而在流体中，其中一个问题是湍流。开发新的降阶模型[3,6,7]是该领域进步的基础。

3.基于物理的机器学习:创建更多数据的另一种选择是在基于已知物理的机器学习算法中编码先验信息，这样它们需要更少的数据来学习[8,9]。例如，Thomas等人[8]将旋转和平移不变性编码到神经网络中，这有助于在不同的环境中学习(想想原子模拟中的分子旋转)。

4.非常大维度问题的不确定性量化:Zhu和Zabaras[9]已经表明贝叶斯深度卷积编码器-解码器网络是非常大维度数据中不确定性量化的强大方法。这可以开辟新的方法来处理大数据，同时仍然量化不确定性。

5.ML发现新的物理定律:Smidt和Lipson[10]表明，遗传编程符号回归可以通过观察不同的系统(如摆动的双摆)来学习哈密顿量和拉格朗日量。这是一种不同的人工智能方法，在人工智能中，进化算法被用来创建方程(消除“黑箱”)。Brunton等人[11]通过限制控制方程的形式和利用稀疏性技术开发了一种快速替代方案。这些和其他学习描述物理过程的基本方程的努力很重要，因为这些定律是外推的，这与其他ML技术的情况不同。

6.强化学习和贝叶斯优化:在某些技术中，机器学习算法通过避免设计空间的预采样来执行优化。例如，在线高斯过程[12]是一种介于ML和optimization之间的贝叶斯优化算法。他们能够在勘探和开采之间找到平衡，试图迅速达到全局最佳。

7.力学提高对机器学习的理解:Geiger等人的一篇令人费解的文章[13]强调，不仅仅是机器学习可以帮助力学，实际上力学也可以帮助机器学习。颗粒介质可能有助于揭示深度神经网络的特性!当然，在许多其他近期作品之后，还有许多更有趣的方向可以追求[14-17]。我为没有收录更多其他同事的文章提前道歉。

参考文献

[1]王晓明，王晓明，王晓明，等。超材料设计中的贝叶斯机器学习:易碎变为超压缩。材料工程，31(8)，1904845。

[2]张志强，张志强。概率机器学习和人工智能。自然杂志，521(7553)，452-459。

[3]刘志强，贝萨，孟安，刘文奎(2016)。自洽聚类分析:非弹性非均质材料的有效多尺度方案。应用力学与工程学报，36(6):319-341。

[4] Bessa, M. A, Bostanabad, R.， Liu, Z.， Hu, A.， appley, D. W.， Brinson, C.， Chen, W.， Liu, W. K.(2017)。不确定性下材料数据驱动分析的框架:对抗维度的诅咒。应用力学与工程学报，32(3):633-667。

[5]陈文杰，陈文杰，陈文杰，陈文杰，陈文杰。深度学习预测路径依赖的可塑性。国家科学院学报，116(52)，26414-26420。

[6]张建平，张建平，张建平(1998)。具有复杂微观结构的非线性复合材料整体响应的数值计算方法。应用力学与工程，57(1-2)，69-94。

[7] Ladeveze P Passieux, j . C。&拼,d .(2010)。拉丁多尺度计算方法及适当的广义分解。应用力学与工程，1999(2)，1287-1296。

[8]李丽娟，杨丽娟，李丽娟，李丽娟，李丽娟。张量场网络:三维点云的旋转和平移等变神经网络。arXiv:1802.08219。

[9]李建平，李建平，李建平，等。隐藏物理模型:非线性偏微分方程的机器学习。计算物理学报，35(5)，125-141。

[10]朱勇，Zabaras, N.(2018)。代理建模和不确定性量化的贝叶斯深度卷积编码器-解码器网络。计算物理学报，36(6)，415-447。

[11]李晓明，李晓明，李晓明(2009)。从实验数据中提炼出自由形式的自然规律。科学，324(5923)，81-85。

[12]刘建军，刘建军，刘建军，等。用非线性动力系统的稀疏辨识从数据中发现控制方程。国家科学院学报，113(15)，3932-3937。

[13] González, J, Dai, Z.， Hennig, P.， & Lawrence, N.(2016, 5月)。基于局部惩罚的批处理贝叶斯优化。人工智能与统计学(第648-657页)。

[14]李建军，李建军，李建军，李建军，李建军，李建军。以干扰转换为范例来理解深度神经网络的损失情况。中国生物医学工程学报，2016(1)，444 - 444。

[15]李志强，李志强。何，基于神经网络的非线性弹性材料均匀化计算，计算机工程学报。j .号码。方法工程学报，104(12)(2015)1061-1084。

[16]王晓明，王晓明。(2017)。具有噪声材料数据集的数据驱动计算。应用力学与工程学报，32(6):622-641。

[17]陈晓明，陈晓明，陈晓明，等。用于物理系统计算状态的表示、探索和分析的图论框架。应用力学与工程学报，35(1)，501-530。

[18]李建军，李建军，李建军，等。基于数据驱动的降阶模型对多晶组织的高周疲劳性能进行排序。材料与设计，2004,17(4):170-183。