2022年5月期刊俱乐部:力学中的机器学习:管理数据集和定义挑战问题

在过去的几年里，机器学习(ML)应用于力学问题的普及程度大大提高。这是我在2020年初制作的一张幻灯片中的一个数字，引用了文献中的几个例子——这张幻灯片已经过时了!所有这些作者(以及许多其他人)都发表了关于这个主题的新论文。

随着越来越多的研究人员将机器学习方法应用于力学问题，我认为两个方法学问题变得越来越重要:

1 .特定机制的挑战何时能够激发新的ML方法开发?即，机械数据有何特殊之处?

和

2我们应该如何存储和传播来自实验和模拟的精心策划的机械数据集?

在这个期刊俱乐部里，我将主要关注主题二。我真诚地希望，不仅能激发对这些主题的讨论，而且还能通过众包的方式将例子添加到我们一直在研究的开放获取力学数据集的非正式列表中(https://elejeune11.github.io/)。如果你知道一个适合这个列表的数据集，请使用这篇文章的评论部分让我知道，我会添加它。此外，围绕文献中的共同主题，为研究和教育提供新的基准数据集的想法也将是一个受欢迎的贡献。

1.最近机器学习在力学中的应用的背景材料和例子

如果你是机器学习主题的新手，并且有力学背景，也许最好的起点是Miguel Bessa在2020年2月的Journal Club帖子标题“力学中的机器学习:简单的资源，例子和机会”(https://万博manbetx平台m.limpotrade.com/node/23957)。米格尔去年还做了一个精彩的演讲，介绍了他对机器学习/力学界面研究的一些贡献，目前可以在YouTube上找到(https://www.youtube.com/watch?v=GWpeGFFXZSM)，其中包括几个鼓舞人心的例子，说明ML如何在该领域产生影响。2021年11月，高伟还在Journal Club发表了一篇非常有趣且内容丰富的文章，专注于将机器学习应用于原子材料建模(https://万博manbetx平台m.limpotrade.com/node/25544)。

最近有很多关于机器学习和机制界面的研究活动，所以我将它们放在这篇博文之外进行总结。然而，从一个非常普遍的角度来看，我想强调几个共同的主题:

*多尺度建模、设计、逆向分析、优化和/或不确定性量化的监督学习(https://doi.org/10.1007/s00158-001-0160-4，https://doi.org/10.1021/acsnano.1c06340, https://doi.org/10.1039/C8MH00653A，https://doi.org/10.1016/j.matdes.2020.108509，https://doi.org/10.1016/j.cma.2020.113362，https://doi.org/10.1137/20M1354210，https://doi.org/10.1039/D0ME00020E）

*基于ml的本构建模(https://doi.org/10.1061/(第3期)0733 - 9399 (1991)117:1 (132)，https://doi.org/10.1016/j.cma.2018.11.026，https://doi.org/10.1115/1.4052684，https://doi.org/10.1016/j.cma.2021.114217，https://doi.org/10.1038/s41524-022-00752-4）

*物理学为神经网络(pinn)提供正向和反向问题(https://doi.org/10.1016/j.jcp.2018.10.045，https://doi.org/10.1038/s42254-021-00314-5）

*机器学习辅助材料表征和发现(https://doi.org/10.1016/j.matchar.2019.109984，https://arxiv.org/abs/2111.05949）

在这些主题中，机器学习方法已应用于生物力学(https://doi.org/10.1038/s41746-019-0193-y，https://doi.org/10.1007/s10237-019-01190-w，https://doi.org/10.1007/s10237-018-1061-4，https://doi.org/10.1016/j.cma.2022.114871，https://doi.org/10.1016/j.jbiomech.2020.110124)、增材制造(https://doi.org/10.1038/s41524-021-00548-y，https://arxiv.org/abs/2204.05152)，以及机械设计(https://arxiv.org/abs/2202.09427，https://doi.org/10.1002/adfm.202111610，https://doi.org/10.1016/j.cma.2020.113377，https://doi.org/10.1016/j.jmatprotec.2022.117497)。同样，这里引用的论文是文献的一小部分。我强烈鼓励任何有特别相关论文或其他主题的人在评论中分享!

1-REMARK。当前的数据管理和传播实践

目前，大多数将机器学习方法应用于力学问题的论文都将这些方法展示在独特的和私有的数据集上。一方面，这是一种合乎逻辑的方法，因为力学领域是如此多样化，每个人都在研究一个利基领域，可能与其他最近发表的工作没有实质性的科学重叠。另一方面，这种方法可能是有限的，因为它很难定量地比较不同的方法并获得集体知识。例如，什么类型的机器学习模型和机器学习模型架构/超参数是基于机械数据进行预测的最佳起点并不一定清楚。

通过定义用于ML/力学界面研究的基准数据集和基准问题来解决这个问题的兴趣越来越大。例如，在2019年美国国家科学基金会计算力学视觉研讨会上，这个话题被多次提出(见报告:https://micde.umich.edu/nsf-compmech-workshop-2019/)。也有许多相关的努力，包括材料基因组计划(https://www.mgi.gov/)、物料计划(https://materialsproject.org/)、NanoMine (https://materialsmine.org/wi/home)、DIC挑战赛(https://idics.org/challenge/)、美国空军研究实验室增材制造建模挑战系列(https://materials-data-facility.github.io/MID3AS-AM-Challenge/)，以及Sandia压裂挑战赛(https://doi.org/10.1007/s10704-019-00361-1)。这些努力帮助研究界组织数据，并确定有效的方法来应对来自多个候选可能性的挑战。至关重要的是，资助机构也对数据管理和传播产生了兴趣(例如，在美国，NSF最近的一封致同事信中提到了这一点)https://www.nsf.gov/pubs/2019/nsf19069/nsf19069.jsp)。而且，最近有一些启动的项目来解决缺乏基于开放获取机制的数据集(例如，https://pamspublic.science.energy.gov/WebPAMSExternal/Interface/Common/ViewPublicAbstract.aspx?rv=f364982b-b455-4161-83e2-ef1cb1846f93&rtc=24&PRoleId=10)。这篇Journal Club文章的目的是促进对这个话题的进一步讨论。

2.基准数据集的影响和其他领域的挑战问题

目前在力学研究中流行的许多机器学习算法(例如，卷积神经网络)的发展在很大程度上是由计算机视觉中的问题所驱动的。(然而，作为一个简短的旁注:流行的主成分分析算法是受到力学中类似问题的启发!https://en.wikipedia.org/wiki/Principal_component_analysis#History)。计算机视觉一直是ML方法的主要应用的原因之一是，有多个现成的基准数据集专注于计算机视觉中的问题。例如:

* MNIST (https://en.wikipedia.org/wiki/MNIST_database)是70K (60K训练，10K测试)标记的手写数字的集合，从0到9，每个数字被描述为一个28x28的输入位图。这个数据集足够小，可以在标准的笔记本电脑上下载和分析，并且经常用作ML教程中的示例数据集。

* ImageNet (https://en.wikipedia.org/wiki/ImageNet)是超过1400万标签图像的集合，根据类别定义具有1K-20K类别。值得注意的是，该数据集是“ImageNet大规模视觉识别挑战赛”(https://www.image-net.org/challenges/LSVRC/)，这标志着机器学习模型的预测能力取得了重大突破。尽管超出了本期刊俱乐部的范围，但这个庞大数据集的发展历史相当有趣(https://www.historyofdatascience.com/imagenet-a-pioneering-vision-for-computers/)。

除了这两个可能是最广为人知的例子之外，还有许多人努力为不同类别的ML相关挑战定义基准问题。例如:

*场景流基准数据集:https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html

*数据分布转移基准数据集:https://wilds.stanford.edu/datasets/

*还有许多其他的:https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research

总的来说，这些数据集的可访问性极大地促进了研究和教育。例如，如果您想学习如何实现卷积神经网络，您可以下载带有一行代码的MNIST，并在几分钟内学习如何在数据集上训练已建立的ML模型。另外，如果您对ML算法有一个新的想法，您可以很容易地将您的方法与文献中定义的其他方法进行比较。这有点类似于在流行的基准问题上评估新的机械模拟方法(例如，Cook 's Membrane, Lee's Frame, Patch test)。

2-REMARK。依赖基准数据集的局限性

当然，除了开放访问基准数据集的好处之外，过度依赖它们也有许多潜在的限制。首先，与现实世界的挑战相比，基准数据集可能“容易”，因此如果算法在这些数据上表现良好，可能会给研究人员带来一种虚假的成就感。为了解决这个问题，已经有了多种努力来管理和传播更具挑战性的数据集。例如，Fashion MNIST数据集(https://github.com/zalandoresearch/fashion-mnist)是作为一个更具挑战性的替代MNIST而创建的。此外，ImageNet大规模视觉识别挑战赛于2017年退役，以促进3D图像分析等更具挑战性的问题。其次，基准数据集可能包含奇怪的怪癖和/或严重的偏差，然后由ML模型学习。例如，如果在面部识别基准数据集中某些人口统计数据的比例很低，那么所得到的ML模型随后可能会表现出有偏见的预测。在力学数据集的背景下，获取偏差也是一个重要的问题，特别是对于有很多机会无意中添加虚假特征的实验数据(例如，全场图像的可变照明条件)。总的来说，重要的是要认识到，在解决现实世界挑战的背景下，对单个基准任务的高精度仍然需要进行严格的评估。

3.挑战与机遇:处理力学问题的数据集

如前一节所述，基准数据集在其他领域实现了重大的方法进步。现成的基准数据集能否在预测机械行为方面实现方法上的进步?在这个Journal Club中，我还想借此机会思考更大的问题:精心策划和可访问的力学数据集能否带来前所未有的发现?

3 a。用于展示和评估计算方法的基准数据集

尽管力学和机器学习界面的研究越来越受欢迎，但对于哪种机器学习方法在力学问题上表现最好，还没有一个清晰的图景。由于大多数研究人员报告的是他们在私有数据集上的调查结果，因此很难(1)在调试ML模型实现时直接重现结果，以及(2)直接比较不同方法的性能，因为误差指标将在不同的数据集上报告。这限制了那些想要开发新方法并证明他们提出的方法超过了最先进水平的研究人员。而且，对于那些方法不可知的研究人员来说，它是有限的，他们只是想使用最好的可用工具来解决一个特定的问题。

在我们的研究小组中，我们最近在解决缺乏基准数据的问题上迈出了一小步。具体来说，我们基于精心策划的有限元模拟数据创建了多个开放获取数据集，并在知识共享署名-相似方式共享4.0许可下将这些数据集发布在网上，以便其他人可以免费下载并用于自己的研究。在我们的第一个数据集集合中，我们直接从上面描述的MNIST数据集中获得灵感，并创建了“机械MNIST”集合。在建立这个数据集集合时，我们的目标是利用著名的MNIST数据集的优势(小到足以在标准计算机上管理，大到足以有意义地训练神经网络)，并创建一个与力学研究相关的玩具问题。因此，我们的初始数据集涉及将28x28 MNIST输入位图处理为异质材料块(硬嵌入数字，软背景矩阵)，并根据不同的边界条件变形这些域。在我们最初策划的数据集中，每个输入位图都映射到多个输出:全场位移，应变能变化和反作用力。从那时起，我们对这些主题进行了扩展，包括:多个仿真保真度，时尚MNIST输入位图模式，具有相场断裂的模拟和Cahn-Hilliard输入位图模式。

迄今为止，该数据集包括:

*机械MNIST -单轴扩展https://open.bu.edu/handle/2144/38693

*机械MNIST -等双轴延伸https://open.bu.edu/handle/2144/39428

*机械MNIST -剪切https://open.bu.edu/handle/2144/39429

机械MNIST -受限压缩https://open.bu.edu/handle/2144/39427

*机械MNIST -多保真度https://open.bu.edu/handle/2144/41357

*机械MNIST -时尚https://open.bu.edu/handle/2144/41450

*机械MNIST -裂纹路径https://open.bu.edu/handle/2144/42757

*机械MNIST - Cahn-Hilliardhttps://open.bu.edu/handle/2144/43971

在发布这些数据集的同时，我们还探索了不同的机器学习方法来预测异构域的机械行为。例如，我们将迁移学习视为一种利用低保真度模拟数据的方法(https://doi.org/10.1016/j.jmbbm.2020.104276)，我们设计了一个神经网络架构，专门用于预测感兴趣的全场量，如全场位移、应变和损伤场(https://doi.org/10.1016/j.eml.2021.101566)，我们已经探索了生成对抗网络(Generative Adversarial Networks)在增强小型训练数据集(https://arxiv.org/abs/2203.04183)。对于所有的努力，我们将我们的方法结果简单地视为基线-我们预计在未来几年将引入新的ML算法，可以超越这些方法的性能。除了机械MNIST收集之外，我们还发布了两个专注于不同问题的数据集:

*屈曲失稳分类(BIC) -https://open.bu.edu/handle/2144/40085-一个简单的基于力学的分类数据集，我们预计它将是一个最相关的教育例子(https://doi.org/10.1016/j.cad.2020.102948)。

*不对称屈曲柱(ABC)https://open.bu.edu/handle/2144/43730-另一个具有复杂几何列的分类数据集，我们使用它来探索基于图形神经网络的方法来预测机械行为(https://arxiv.org/abs/2202.01380)。

尽管这些数据集的多样性，我们敏锐地意识到，这些例子只涵盖了力学研究人员感兴趣的问题的一小部分(例如，在我们的数据集中没有耦合问题的当前例子，我们还没有创建任何这些数据集的实验版本)。为此，我们也一直致力于一个非正式的开放获取力学数据集列表(https://elejeune11.github.io/总结了我们和其他人在这一领域的工作。到目前为止，同事们已经分享了用于软组织本构模型的实验数据示例(见:https://doi.org/10.1016/j.actbio.2020.12.006，https://doi.org/10.1016/j.jmbbm.2020.104216,https://doi.org/10.1016/j.actbio.2019.10.020)，以及通过高通量实验粉碎增材制造的不同几何形状的十字桶(https://doi.org/10.1126/sciadv.aaz1708)。如前所述，我们很乐意在此列表中添加其他数据集-如果您知道未包含的相关数据集，请将其添加到本文的评论中或通过电子邮件与我们联系。

3 b。为机械发现策划的数据集

正如Journal Club最近发表的文章所示，游戏机制中不乏有趣且未解决的问题。不仅有许多新型材料和结构，而且还有具有可变力学行为的材料，在它们被认为是很好的理解之前，需要进行广泛的研究(例如，增材制造材料，复杂复合材料，生物组织)。而且，结构级非线性力学响应的许多方面仍然知之甚少或尚未被发现。同时，我们已经达到了实验和计算技术能够为单个研究生成大量数据的地步(例如，实验设置中的全场变形，计算设置中的高保真有限元模型)。而且，研究人员已经开发出了令人印象深刻的框架，用于进行产生大量数据集的高通量实验(https://doi.org/10.1126/sciadv.aaz1708和https://doi.org/10.1016/j.matt.2021.12.017)。

在前一节中，我介绍了将精心策划的数据集传播到ML模型的基准测试。然而，机械数据管理和开放获取传播的真正潜力远远不止于此。机器学习方法可以用来发现数据集内部或跨数据集的模式吗?机器学习方法可以用来创建具有不同输入数据流的预测模型吗?我们已经看到了使用无监督机器学习方法来识别已实现数据模式的一些潜力(例如，https://doi.org/10.1016/j.matchar.2019.109984和https://doi.org/10.1016/j.cma.2016.04.004)。而且，我们已经看到了令人印象深刻的结果，研究人员已经开发了系统行为的多尺度和多保真度预测框架(例如，https://doi.org/10.1002/aenm.202003908，https://doi.org/10.1016/j.jmatprotec.2021.117485)。如果更多精心整理的机械数据可以广泛获得，那将会发生什么?除了机器学习应用之外，访问各种机械数据集是否有助于验证或伪造机械行为的理论预测?机械数据集的开放会为超材料设计带来新的方向吗?在许多系统中，力学与其他领域相耦合，或者力学行为随时间变化，人们对这些系统的理解仍然很差。开放访问不同条件下的机械数据集是否能够实现前所未有的预测建模?

4.讨论问题

这个Journal Club的目标是促进关于为ML应用程序和其他应用程序策划基于机制的数据集的讨论。以下是一些额外的讨论问题:

*哪些资源或即将召开的会议是其他人了解更多主题的好机会?

*对于那些对机器学习在解决机械问题上的效用持怀疑态度的人(例如:https://arxiv.org/abs/2112.12054)，什么会让你印象深刻?你能设计一个数据集、问题陈述或基准挑战问题，在这些问题中，基于ML的预测将会有影响吗?

*对于每个人，你希望在未来看到什么类型的基准数据集?新的基准数据集和相关的挑战问题应该包含什么?

*管理数据集是时间、劳动和资源密集型的(例如，参见FAIR指南)https://www.go-fair.org/fair-principles/，https://sites.bu.edu/lejeunelab/files/2022/04/Lejeune_Data_Management_Plan.pdf有限的资源(例如，时间，金钱，存储空间)应该分配给这些努力吗?

*对机械数据进行格式化最有用的方法是什么?每个数据集应该附带哪些必要的元数据?

*什么时候对数据进行管理和保存是有意义的，什么时候是不必要的(例如，单个FEA模拟可以产生GB的数据)?

*是否有其他领域的数据存储库的例子，可以适应/模拟力学问题?例如，材料基因组计划(https://www.mgi.gov/)。

*你认为基准数据集在力学教育中的作用是什么?例如，对于对力学/机器学习界面研究感兴趣的一年级研究生来说，基准数据集是一个很好的资源吗?教育基准数据集应该包含哪些内容?

*您是否有一个公开可用的数据集，我们可以添加到这个非正式的机械数据列表中(https://elejeune11.github.io/）?如果有的话，我很乐意把它包括进去!

作为一个简短的说明，同事Juner Zhu, M. Khalid Jawed, Hongyi Xu和我正在SES 2022上组织一个关于“复杂多物理场系统，结构和材料的数据驱动方法”的小型研讨会。摘要提交现已开放，请考虑加入我们的SES，继续讨论力学/ML接口的研究(专题讨论会3.3)https://na.eventscloud.com/eSites/658176/Homepage)。

最后，请随时分享其他论文，感兴趣的方法和其他即将发生的事件。这个领域发展如此之快，有很多精彩的例子需要强调，我在上面没有包括。

以下是对2022年5月期间本杂志俱乐部所提供的一些额外资源的快速总结-感谢所有参与的人!

*我们将数据集8-13添加到非正式列表(https://elejeune11.github.io/) -感谢大家的建议+请继续联系，如果你有更多的例子，将是合适的!

* Ajay提到DesignSafe数据仓库(https://www.designsafe-ci.org/data/browser/public/)，这是自然灾害相关数据集的绝佳资源。他在2022年6月的Journal Club文章中也进一步讨论了这个话题(https://万博manbetx平台m.limpotrade.com/node/26009)。

* Steve链接了几个社区相关的社区资源:(1)IACM机械机器学习和数字孪生会议(https://mmldt.eng.ucsd.edu/home)、(2)短期力学机器学习课程(https://mmldtshortcourse.weebly.com/lecture-notes.html)， (3) LLNL关于数据驱动物理模拟的系列研讨会(https://data-science.llnl.gov/latest/news/virtual-seminar-series-explores-data-driven-physical-simulations）

*总的来说，许多人都在评论中表达了他们是如何与机制数据集互动的!请查看它们，并在适当的时候继续贡献。