2023年6月杂志俱乐部:关于机器学习在本构建模和计算力学中的作用的观点

介绍

这篇博文的目的是简要概述随着机器学习(ML)领域迅速推动工具的发展而出现的新机遇和挑战，这些工具正在成为固体力学和计算力学研究的主流，重点是本构建模。这绝不是对支持ml的本构建模的完整回顾。

科学机器学习背景(SciML)

尽管有人可能会说通用人工智能仍然是一个遥远的目标，但大型语言模型(llm)，如ChatGPT，最近受到了很多关注，正在迅速证明它们可以在工业领域产生重大影响，也可以对研究产生重大影响。可以想象，能够完成人类分析师和机械专家可以完成的任务的虚拟自我训练分析师并不属于太遥远的未来。同样，在不到一周前的文献[1]中，有人提出了《我的世界》中一个由llm驱动的体现终身学习的智能体，它可以在没有人为干预的情况下不断探索世界，获得各种技能，并做出新的发现，其中有趣的一点是智能体在执行看不见的任务方面取得了成功。

在过去的几年里，人们对计算科学中的机器学习(ML)工具越来越感兴趣。这种受欢迎程度的上升是由于多种原因:机器学习模型在模拟环境中直接利用实验数据的能力，机器学习工具的泛化能力，与传统数值方法及其自动微分框架相比的潜在速度。SciML的主要机会是底层数据通常连接到已知的数学结构，并遵守物理定律(已知或尚未发现)。由于这些原因，ML工具最近被用作以下问题的解决方案
涉及偏微分方程(PDEs)的正、逆问题，或为偏微分方程的加速解开发侵入式和非侵入式降阶建模方案[2]。替代模型或简化过模型允许使用线性和非线性问题的实验和合成数据捕获解算子[3-6]。最近的发展包括DeepONet和Neural Operators，它们旨在学习不局限于有限维设置的解算子[7-9]。一些早期的工作集中在使用适当正交分解的侵入线性子空间方法[4-6]。相比之下，最近已经开发了使用神经网络(NN)和自动编码器进行线性和非线性方法的非侵入式方法[3,10,11]。物理指导的方法，如物理信息神经网络(PINN)也可以将训练数据和物理约束结合起来解决正解和逆问题[12,13]。

现象学本构建模

关注本构建模的方法，重要的是要注意现象学本构建模的核心是数据驱动的方法(不是从算法的角度)，其目标与大多数ML工具类似，是将函数拟合到一组观察值。必须指出的是，力学，特别是本构模型，一直是一门“有限数据”或“部分数据”学科。我们注意到以下区别:

•低数据:可能以统一的方式跨越输入参数(例如应变或应变率张量)空间的少量观察值(标记数据对)。例如，从计算RVE获得的数据可以在任何应变状态和应变历史下进行探测。

有限数据:由于数据采集的限制(如实验设计)，只能跨越输入空间的特定区域的观察结果(标记数据对)。我们可以考虑简单的机械测试，比如单轴拉力。

•部分数据:不提供标记数据对的观测。DIC实验提供应变场，但只能获得全局加载测量，而不能获得逐点应力数据。

现象学本构象建模的目标一直是以稳健的方式拟合可用数据，这样预测在不可见的情况下是可信的，但这是ML方法的已知瓶颈之一，即所谓的泛化失败。由于数据可用性有限，可以提供均匀应力状态的实验(例如单轴拉伸和压缩，双轴拉伸，简单剪切)传统上被用作数据源来测试建议的现象学本构模型。现象学建模的成功来自于开发符合热力学原理的框架，最终允许模型健壮地插值并提供物理结果，即使是从低和有限的数据源开发的。

不同的数据源(简单的机械加载实验、先进的成像技术、计算RVEs)可以提供不同级别的数据可用性和信息访问(见图1)。

图1:闭合模型的科学数据:(a)单根钢筋的狗骨标本轴向张力(改编自[14])。(b)双轴加载实验DIC图像从[15])。(c)犬骨试件在单轴下的原位HEXD实验示意图(改编自[16])。(d) CP模拟的计算RVE(改编自[17])。一个中的数据可用性和对不同类型数据的访问
以上类型的实验。

支持ml的本构建模

数据驱动方法的日益普及对于为抽样、训练、测试和验证设定通用实践至关重要。这些实践的目的是优化数据的使用，并设计(物理的或合成的)实验来测试训练模型的性能。在力学的背景下，现象学建模主要导致参数估计问题，因此在大多数情况下使用有限的实验是有保证的。当人们想到现象学建模的模型发现部分时，很快，对实验数据的要求并不明确。随着问题变得越来越复杂，理解数据的可用性以及相应地优化实验和设计学习方法是至关重要的。

开发用于本构建模的自动化数据驱动方法是与材料发现、工业工程模拟和研究相关的非常实际的需求，其好处是可以导致更准确的预测，但也减少了人工参与，加快了加工性能产品开发周期，并降低了高计算成本。

理想情况下，数据驱动的本构模型应该:
1.在解决结构问题的数值求解器(包括传统的FEM，也包括支持ml的PINN)中具有鲁棒性
2.不会导致非物质的结果
3.可理解(人类可理解)
4.考虑不确定性
5.了解数据可用性
6.能够解释来自不同数据源的观察结果。

甚至在使用机器学习发现本构模型之前，机器学习工具就经常被用来对已知本构模型进行参数估计[18]，随着模型参数的增加和实验观察的限制，由于手头优化问题的非凸性，这项任务变得更加复杂，这是机器学习方法擅长的任务。

利用标记数据对，第一代数据驱动的机器学习本构模型由Ghaboussi及其合作者以及Furakawa及其合作者首创[19-22]，他们多次关注不同类别材料的一维响应，但也没有试图解决机器学习方法的主要问题，即过拟合、无法推广和缺乏可解释性。第二波基于机器学习的本构建模侧重于开发能够更稳健地解决从超弹性到弹塑性问题的方法，并最终可以集成到有限元框架中[23-25]。

最近，为了解决力学实验的泛化和有限数据性质，物理约束已被用于构建本构建模的ML框架。从加强客观性到材料对称性和热力学约束，有一些方法可以弱地(通过损失函数)[26,27]或在框架的构建中严格地执行这些条件[28-30]。在超弹性背景下，严格执行应变能密度的多凸性要求也被证明对泛化、发现和鲁棒性非常有用[31-33]，在某些情况下，由于具体实现的非参数性质，甚至可以实现可解释性，如[34]所示。特别是当人们转向路径依赖问题时，数据驱动的发现尤其具有挑战性[35,36]，以模块化的方式接近弹性塑性[37-39]并利用一些机械直觉(约束学习过程以平衡数据可用性)对于有效利用数据和开发可以有效推广的健壮方法至关重要。

处理未标记的数据，并受到符号回归方法的启发[40]，以前用于从自由形式数据中发现规律，在稀疏回归的保护伞下，EUCLID平台允许使用未标记的数据来发现各种材料类别的可解释的本构律[41,42]。该方法利用已知模型库，全场应变信息(来自合成或DIC实验)作为输入，以及全局加载信息，以提取简洁的数据驱动的本构定律。一个非常有趣的扩展是开发了一个无监督贝叶斯框架，用于在EUCLID中发现超弹性模型，考虑不确定性[43]。

结论

在这个阶段，对数据的可得性和不确定性的传播以及设计适当的核查和确认过程的注意仍然不够。大多数基于ml的模型都是从大数据的角度设计的，而实验和低规模计算只能提供有限的数据，这通常是由于计算成本高。对于大多数结构工程系统，建模是围绕确定性框架进行的，不确定性是通过安全因素来考虑的。一个主要的瓶颈是，当使用传统的蒙特卡罗采样方法时，具有不确定参数的结构问题的解决是非常禁止的。此外，用于结构系统建模的确定性模型是基于带有不确定性但不考虑不确定性的实验信息开发的，当结构问题解决时，所有关于不确定性的信息都丢失了。这使得工程系统与其虚拟孪生体之间存在双向脱节，这对于评估这些系统的风险和可靠性至关重要。

总而言之，下一个基于机器学习的本构建模和计算力学面临的挑战和机遇如下:

•在数据可用性感知设置中启用可解释性和泛化。

•开发多保真度学习框架，利用各种数据源考虑不确定性。

•为计算力学中支持机器学习的工具开发下一代验证和验证流程

•制定基准(类似于[44]中最近的工作，并遵循2022年5月Journal Club条目中的讨论)https://万博manbetx平台m.limpotrade.com/node/25935)来测试新的支持ml的本构律的鲁棒性。就像Sandia压裂挑战赛对力学界非常有用一样，提供多种训练、测试和验证模式的数据集，以及潜在的多保真度数据，对该行业的下一步工作至关重要。

•开发下一代开源数值求解器平台，允许本构模型实现的灵活性，直接利用实验数据，访问ml工具和反问题的解决方案。

参考文献

[1]王国光，谢勇，姜勇，A. Mandlekar，肖晨，朱勇，范丽丽，A. Anandkumar, Voyager:一种基于大语言模型的开放式嵌入智能体，中文信息学报，第14卷第1期:2023 - 2023。
[2]李建军，李建军，李建军，一种基于条件生成对抗网络的pdes数据驱动解和参数估计方法，计算机工程学报，31(12)(2021):819-829。
[3]肖德华，方锋，胡荣华，胡荣华，一种基于区域分解的非侵入性降阶湍流模型，计算机工程学报，2019,32(4):557 - 557。
[4]张晓明，张晓明，张晓明，一种快速参数化形状变形的逆距离加权方法，中国机械工程学报，34(8)(2019):889 - 889。
[5]张晓明，张晓明，张晓明，一种随机输入椭圆偏微分方程的加权POD方法，计算机工程学报，31(1)(2019):136 - 136。
[6]王晓明，王晓明，等。一种参数化偏微分方程的认证约简基方法，吉林大学学报(自然科学版)，2016。
[7]卢磊，金平，庞国光，张志强，基于算子的广义逼近定理的深度网络学习，自然科学，31(3)(2021):218-229。
[8]李志强，李志强，刘斌，K. Azizzadenesheli, K. Bhattacharya, A. Stuart, A. Anandkumar，神经网络算子在函数空间学习映射中的应用，计算机工程学报，vol . 32(4): 888 - 888(2013)。
[9]李志强，李志强，刘波，K. Bhattacharya, A. Stuart, A. Anandkumar，参数偏微分方程的傅里叶神经算子，[j] .中文信息学报，2010.08895(2020)。
[10]张建军，张建军，张建军。基于神经网络的非线性问题建模方法研究，计算机工程学报，2018,33(4):559 - 559。
[11]王庆，王志强，张志强，基于神经网络的非定常流场建模方法，计算物理学报，34(2019):379 - 379。
[12]李志强，李志强，李志强，基于神经网络的偏微分方程求解方法，计算机工程学报，34(5)(1998):987 - 998。
[13]李建军，张建军，张建军。基于神经网络的非线性偏微分方程正解和反解的深度学习框架，计算机工程学报，34(2019):686 - 687。
[14]李建军，李建军，李建军，钢筋结构的变形与变形，力学与工程学报，32(4):533 - 536。
[15]李建军，李建军，李建军，李建军。基于复合材料的生物医用材料力学性能研究，机械工程学报，2016,34(4):444 - 444。
[16]王晓明，张晓明，张晓明。基于x射线的金属多晶局部变形研究，材料工程学报(10)(2014)
[17]张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军，张建军。
[18]王军，李涛，崔飞。杨建军，杨建军，曾德华，基于高斯过程机器学习的本构模型元建模，固体力学与物理学报(2021):104532。
[19]吴晓东，王晓东，王晓东，基于神经网络的材料建模方法，工程力学与工程学报。工程中的数值方法:理论与应用，1990,pp. 701-717。
[20]李建军，张建军，吴晓霞，基于神经网络的材料力学性能建模，力学学报，17(1)(1991):132 - 132。
[21]张建军，张建军，张建军，等。基于神经网络的地质力学模型及其应用，岩土工程学报，2004,29(4):444 - 444。
[22]刘建军，张建军，张建军。基于神经网络的粘塑性本构模型，工程力学与工程学报，2004，第1页。
[23]刘志强，刘志强，刘志强。陈文奎，刘文奎，不确定条件下数据驱动的材料分析框架:克服维度诅咒，应用力学与工程，32(2017):633-667。
[24]王晓明，王晓明，王晓明，基于机器学习的塑性模型研究，力学与工程学报，2016,36(1):1 - 8。
[25]王晓明，张晓明，张晓明，基于神经网络的局部近似高斯过程回归模型，应用力学与工程学报，34(2):444 - 444。
[26]张建军，张建军，张建军。基于神经网络的固体材料本构模型研究，力学与工程学报，34(2):444 - 444。
[27]王晓明，王晓明，王晓明，王晓明。基于深度学习的本构神经网络建模方法研究[j] .中文信息学报，2016,34(4):493 - 493。
[28]张建军，张建军，张建军，等。基于神经网络模型的多晶材料弹塑性变形应力预测，机械工程学报，31(3)(2020):05005。
[29]张建军，张建军，张建军。基于概率学习的各向异性本构模型研究，应用力学与工程学报，34(2):444 - 444。
[30]王晓明，王晓明，王晓明。基于神经网络的超弹性模型研究[j] .计算机工程与应用，vol . 32(4): 559 - 559。
[31]王晓明，王晓明，王晓明，王晓明。基于神经网络的多凸各向异性超弹性力学研究进展，力学与工程学报，2011,31(4):444 - 444。
[32]李建军，张建军，张建军。基于多凸神经网络的组织力学研究进展[j] .力学与工程学报，2016,36(4):662 - 662。
[33]张志强，张志强，张志强，基于神经网络的超弹性各向异性学习方法，计算机应用学报，vol . 32(4): 444 - 444(2022)。
[34]李建军，张建军，张建军。基于自适应神经网络的多目标优化算法，应用力学与工程学报，34(2):444 - 444。
[35]刘斌，李志强，李志强，基于多尺度学习的非弹性碰撞问题求解方法，中国机械工程学报，vol . 32(5): 444 - 444(2013)。
[36]孙伟，孙文杰。基于多尺度可解释塑性的几何学习方法[j] .力学与工程学报，34(6):1245 - 1245。
[37]孙卫军，李建军，张建军。基于bp神经网络的可解释弹塑性模型的研究，力学与工程学报，34(2):444 - 444。
[38]张建军，张建军，张建军，等。一种基于数据的现象屈服函数优化方法，岩土工程学报(自然科学版)，2009，(4):334 - 334。
[39]张建军，张建军，张建军，基于机器学习的弹性塑性模型研究，力学与工程学报，34(4):939 - 939。
[40]王晓明，王晓明。基于实验数据的自然规律提取方法研究，科学进展，34(5)(2009):551 - 557。
[41]张晓明，张晓明，张晓明。基于深度学习的超弹性学习算法研究，计算机工程学报，vol . 32(4): 557 - 557(2022)。
[42]张建军，张建军，张建军，等。基于应力数据的塑性模型研究，力学与工程学报，32(1)(2010):1 - 10。
[43]郑毅，刘建军，张建军，张建军。基于贝叶斯-欧氏模型的超弹性材料动力学研究，物理学报，34(4):444 - 444(2022)。
[44]李建军，李建军，李建军。基于物理信息的数据驱动超弹性计算方法，计算机应用学报，第4卷第1期，第4卷第1期。