2022年5月期刊俱乐部:力学中的机器学习:管理数据集和定义挑战问题

在过去的几年里，机器学习(ML)应用于力学问题已经得到了广泛的普及。以下是我在2020年初制作的幻灯片中的一个数字，参考了文献中的一些例子——这张幻灯片已经感觉过时了!所有这些作者(以及许多其他作者)都发表了关于这个主题的新论文。

随着越来越多的研究人员将ML方法应用于力学问题，我认为有两个方法学问题变得越来越重要:

I.什么时候针对机制的挑战会激励新的ML方法开发?也就是说，机械数据有什么特殊之处?

而且

2我们应该如何存储和传播来自实验和模拟的机械数据集?

在这个日记俱乐部，我将主要关注主题二。我真诚地希望，不仅能激发对这些主题的讨论，而且还能众包示例，以添加到我们一直在研究的开放获取机制数据集的非正式列表中(https://elejeune11.github.io/)．如果你知道适合这个列表的数据集，请在这篇文章的评论部分告诉我，我会添加它。此外，围绕文献中的共同主题，为研究和教育提供新的基准数据集的想法也将是一个受欢迎的贡献。

1.背景材料和最近ml在力学中的应用实例

如果你是ML主题的新手，并且有力学背景，也许最好的起点是Miguel Bessa 2020年2月期刊俱乐部的帖子标题“力学中的机器学习:简单的资源，例子和机会”(https://万博manbetx平台m.limpotrade.com/node/23957)．Miguel去年也做了一个很棒的演讲，关于他在ML/Mechanics界面研究方面的一些贡献，目前可以在YouTube上看到(https://www.youtube.com/watch?v=GWpeGFFXZSM)，其中包括几个鼓舞人心的例子，说明ML如何在该领域产生影响。在2021年11月，Wei Gao还在Journal Club发表了一篇非常有趣且信息丰富的文章，专注于将ML应用于原子材料建模(https://万博manbetx平台m.limpotrade.com/node/25544)．

最近在机器学习和机制的界面上有太多的研究活动，所以我把它们都放在了这篇文章的范围之外。然而，从一个非常普遍的角度来看，我想强调几个共同的主题:

*用于多尺度建模、设计、逆向分析、优化和/或不确定性量化的监督学习(https://doi.org/10.1007/s00158-001-0160-4，https://doi.org/10.1021/acsnano.1c06340, https://doi.org/10.1039/C8MH00653A，https://doi.org/10.1016/j.matdes.2020.108509，https://doi.org/10.1016/j.cma.2020.113362，https://doi.org/10.1137/20M1354210，https://doi.org/10.1039/D0ME00020E）

*基于ml的本构模型(https://doi.org/10.1061/(第3期)0733 - 9399 (1991)117:1 (132)，https://doi.org/10.1016/j.cma.2018.11.026，https://doi.org/10.1115/1.4052684，https://doi.org/10.1016/j.cma.2021.114217，https://doi.org/10.1038/s41524-022-00752-4）

*物理通知神经网络(PINNs)的正向和反向问题(https://doi.org/10.1016/j.jcp.2018.10.045，https://doi.org/10.1038/s42254-021-00314-5）

* ml辅助材料表征和发现(https://doi.org/10.1016/j.matchar.2019.109984，https://arxiv.org/abs/2111.05949）

在这些主题中，ML方法已应用于生物力学(https://doi.org/10.1038/s41746-019-0193-y，https://doi.org/10.1007/s10237-019-01190-w，https://doi.org/10.1007/s10237-018-1061-4，https://doi.org/10.1016/j.cma.2022.114871，https://doi.org/10.1016/j.jbiomech.2020.110124)、增材制造(https://doi.org/10.1038/s41524-021-00548-y，https://arxiv.org/abs/2204.05152)、机械设计(https://arxiv.org/abs/2202.09427，https://doi.org/10.1002/adfm.202111610，https://doi.org/10.1016/j.cma.2020.113377，https://doi.org/10.1016/j.jmatprotec.2022.117497)．再次强调，这里引用的论文只是文献中的一小部分。我强烈鼓励任何有特别相关的论文或其他主题的人在评论中分享!

1-REMARK。当前数据管理和传播实践

目前，大多数将机器学习方法应用于力学问题的论文都在独特的私有数据集上展示了这些方法。一方面，这是一种合理的方法，因为力学领域是如此多样化，每个人都在一个利基领域工作，可能与其他最近发表的工作没有实质性的科学重叠。另一方面，这种方法可能有局限性，因为它很难定量地比较不同的方法并获得集体知识。例如，并不一定清楚哪种类型的ML模型和ML模型架构/超参数是基于力学数据进行预测的最佳起点。

通过定义基准数据集和ML/机制接口研究的基准问题，人们对解决这一问题越来越感兴趣。例如，在2019年美国国家科学基金会计算力学视觉研讨会上，这个主题被多次提出(见报告:https://micde.umich.edu/nsf-compmech-workshop-2019/)．还有许多相关的努力，包括材料基因组计划(https://www.mgi.gov/)、物料计划(https://materialsproject.org/)、NanoMine (https://materialsmine.org/wi/home)、DIC挑战赛(https://idics.org/challenge/)、空军研究实验室增材制造建模挑战赛系列(https://materials-data-facility.github.io/MID3AS-AM-Challenge/)，以及桑迪亚骨折挑战赛(https://doi.org/10.1007/s10704-019-00361-1)．这些努力帮助研究界组织数据，并确定有效的方法来应对来自多个候选可能性的挑战。关键的是，资助机构也对数据管理和传播产生了兴趣(例如，在美国，NSF在最近的一封亲爱的同事信中提到了这一点https://www.nsf.gov/pubs/2019/nsf19069/nsf19069.jsp)．而且，最近已经有一些启动的项目来解决基于开放访问机制的数据集的缺乏(例如，https://pamspublic.science.energy.gov/WebPAMSExternal/Interface/Common/ViewPublicAbstract.aspx?rv=f364982b-b455-4161-83e2-ef1cb1846f93&rtc=24&PRoleId=10)．这篇杂志俱乐部文章的目的是促进关于这个话题的进一步讨论。

2.基准数据集的影响和其他领域的挑战问题

目前在力学研究中流行的许多ML算法(例如，卷积神经网络)的发展在很大程度上是由计算机视觉问题所驱动的。(然而，作为一个简短的边注:流行的主成分分析算法是受到力学中类似问题的启发!https://en.wikipedia.org/wiki/Principal_component_analysis#History)．计算机视觉一直是ML方法的主要应用的原因之一是，有多个现成的基准数据集专注于计算机视觉中的问题。例如:

* MNIST (https://en.wikipedia.org/wiki/MNIST_database)是一个70K (60K训练，10K测试)标记的手写数字的集合，从0到9，每个都被描述为一个28x28输入位图。这个数据集足够小，可以在标准笔记本电脑上下载和分析，并且经常被用作ML教程中的示例数据集。

* ImageNet (https://en.wikipedia.org/wiki/ImageNet)是一个包含超过1400万张标签图像的集合，根据类别定义，分类为1K-20K。值得注意的是，该数据集是“ImageNet大规模视觉识别挑战”(https://www.image-net.org/challenges/LSVRC/)，这标志着ML模型预测能力的巨大突破。虽然超出了本期刊俱乐部的范围，但这个庞大数据集的发展历史是相当有趣的(https://www.historyofdatascience.com/imagenet-a-pioneering-vision-for-computers/)．

除了这两个可能是最广为人知的例子之外，还有许多人努力为不同类别的ML相关挑战定义基准测试问题。例如:

*场景流程基准数据集:https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html

*数据分布偏移基准数据集:https://wilds.stanford.edu/datasets/

*还有很多很多其他的:https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research

总的来说，这些数据集的可访问性极大地促进了研究和教育。例如，如果你想学习如何实现卷积神经网络，你可以用一行代码下载MNIST，并在几分钟内学习如何在数据集上训练一个已建立的ML模型。或者，如果您有一个关于ML算法的新想法，您可以很容易地将您的方法与文献中定义的其他方法进行比较。这有点类似于在流行的基准问题上评估新颖的力学模拟方法(例如，Cook 's Membrane, Lee's Frame, Patch test)。

2-REMARK。依赖基准数据集的局限性

当然，除了开放访问基准数据集的好处之外，过度依赖基准数据集也有许多潜在的限制。首先，与现实世界的挑战相比，基准数据集可能“容易”，因此如果算法在这些数据上表现良好，可能会给研究人员提供一种虚假的成就感。为了解决这个问题，已经进行了多项努力来策划和传播更具挑战性的数据集。例如，Fashion MNIST数据集(https://github.com/zalandoresearch/fashion-mnist)是作为MNIST更具挑战性的临时替代品而创建的。此外，ImageNet大规模视觉识别挑战赛于2017年退役，转而推广更具挑战性的问题，如3D图像分析。其次，基准数据集可能包含奇怪的怪癖和/或严重的偏差，然后由ML模型学习。例如，如果在面部识别基准数据集中，某些人口统计数据的比例很低，那么所得到的ML模型随后可能会显示出有偏见的预测。在力学数据集的背景下，获取偏差也是一个重要的问题，特别是对于实验数据，其中有许多机会无意中添加虚假特征(例如，全场图像的可变光照条件)。总的来说，重要的是要承认，在解决现实世界挑战的背景下，单个基准任务的高准确性仍然需要严格的评估。

3.挑战与机遇:针对力学问题的策划数据集

如前一节所述，基准数据集使其他领域的方法取得了重大进展。容易获得的基准数据集是否能够促进预测机械行为的方法进步?在这个Journal Club中，我也想借此机会思考更大的问题:精心策划和可访问的机制数据集能否带来前所未有的发现?

3 a。用于展示和评估计算方法的基准数据集

尽管力学和机器学习之间的研究越来越受欢迎，但尚不清楚哪种机器学习方法在力学问题上表现最好。由于大多数研究人员在私人持有的数据集上报告他们的调查结果，在调试ML模型实现时，很难(1)直接重现结果，(2)直接比较不同方法的性能，因为错误度量将在不同的数据集上报告。这限制了那些想要开发新方法并证明他们提出的方法超过了目前技术水平的研究人员。而且，对于那些方法不可知论者，只想使用最好的工具来解决特定问题的研究人员来说，这是有限制的。

在我们的研究小组中，我们最近采取了一小步来解决缺乏基准数据的问题。具体来说，我们基于精心策划的有限元模拟数据创建了多个开放获取数据集，并在知识共享署名sharealike 4.0许可下在线发布这些数据集，以便其他人可以自由下载并用于自己的追求。在我们的第一个数据集集合中，我们直接从上面描述的MNIST数据集中获得灵感，并创建了“Mechanical MNIST”集合。在建立这个数据集集合时，我们的目标是利用众所周知的MNIST数据集的好处(小到足以在标准计算机上管理，大到足以有意义地训练神经网络)，并创建一个与力学研究相关的玩具问题。因此，我们最初的数据集涉及将28x28 MNIST输入位图处理为异质材料块(刚性嵌入数字，软背景矩阵)，并根据不同的边界条件变形这些域。在我们最初的数据集中，每个输入位图都映射到多个输出:全场位移、应变能变化和反作用力。从那时起，我们已经扩展了这些主题，包括:多重模拟逼真度，时尚MNIST输入位图模式，相场断裂模拟和Cahn-Hilliard输入位图模式。

到目前为止，这个数据集包括:

*机械MNIST -单轴延伸https://open.bu.edu/handle/2144/38693

*机械MNIST -等双轴延伸https://open.bu.edu/handle/2144/39428

*机械MNIST -剪切https://open.bu.edu/handle/2144/39429

机械MNIST -受限压缩https://open.bu.edu/handle/2144/39427

*机械MNIST -多保真https://open.bu.edu/handle/2144/41357

*机械MNIST -时尚https://open.bu.edu/handle/2144/41450

*机械MNIST -裂纹路径https://open.bu.edu/handle/2144/42757

*机械MNIST - Cahn-Hilliardhttps://open.bu.edu/handle/2144/43971

在发布这些数据集的同时，我们还探索了不同的ML方法来预测异构结构域的力学行为。例如，我们已经将迁移学习作为一种利用低保真模拟数据的方法(https://doi.org/10.1016/j.jmbbm.2020.104276)，我们设计了一个神经网络架构，专门用于预测感兴趣的全场量，如全场位移、应变和损伤场(https://doi.org/10.1016/j.eml.2021.101566)，我们已经探索了生成对抗网络用于增强小型训练数据集(https://arxiv.org/abs/2203.04183)．对于所有的努力，我们将我们的方法结果简单地视为基线-我们预计在未来几年将引入新的ML算法，这些算法的性能将超过这些方法。除了Mechanical MNIST集合，我们还发布了两个专注于不同问题的数据集:

*失稳等级(BIC) -https://open.bu.edu/handle/2144/40085-一个简单的基于力学的分类数据集，我们预计将是最相关的教育示例(https://doi.org/10.1016/j.cad.2020.102948)．

*不对称屈曲柱(ABC) -https://open.bu.edu/handle/2144/43730-另一个具有复杂几何列的分类数据集，我们使用它来探索基于图神经网络的预测机械行为的方法(https://arxiv.org/abs/2202.01380)．

尽管这些数据集的多样性，我们敏锐地意识到这些例子只涵盖了力学研究人员感兴趣的问题的一小部分(例如，在我们的数据集中没有耦合问题的例子，我们还没有创建任何这些数据集的实验版本)。为此，我们也一直致力于一个非正式的开放获取机制数据集列表(https://elejeune11.github.io/)，总结了我们和其他人在这一领域的工作。到目前为止，同事们已经分享了用于软组织本构模型的实验数据的例子(见:https://doi.org/10.1016/j.actbio.2020.12.006，https://doi.org/10.1016/j.jmbbm.2020.104216,https://doi.org/10.1016/j.actbio.2019.10.020)，以及不同几何形状的增材制造交叉桶的高通量实验(https://doi.org/10.1126/sciadv.aaz1708)．如前所述，我们很乐意在此列表中添加其他数据集-如果您知道没有包括的相关数据集，请将其添加到本文的评论中或通过电子邮件与我们联系。

3 b。用于机械发现的策划数据集

正如Journal Club最近的文章所表明的那样，力学中不乏有趣且未解决的问题。不仅有许多新型材料和结构，而且还有具有可变力学行为的材料，在被充分理解之前需要进行广泛的研究(例如，增材制造材料，复杂复合材料，生物组织)。而且，结构级非线性力学响应的许多方面仍然知之甚少或尚未被发现。同时，我们已经达到了实验和计算技术都能够为单一调查生成大量数据的地步(例如，实验设置中的全场变形，计算设置中的高保真有限元模型)。并且，研究人员已经开发了令人印象深刻的框架，用于进行生成大量数据集的高通量实验(https://doi.org/10.1126/sciadv.aaz1708而且https://doi.org/10.1016/j.matt.2021.12.017)．

在前一节中，我介绍了传播精选数据集以对ML模型进行基准测试的情况。然而，机械数据管理和开放获取传播的真正潜力远远不止于此。ML方法是否可以用于在数据集内部或跨数据集发现模式?ML方法可以用来创建具有不同输入数据流的预测模型吗?我们已经看到了使用无监督ML方法来识别实现数据中的模式(例如，https://doi.org/10.1016/j.matchar.2019.109984而且https://doi.org/10.1016/j.cma.2016.04.004)．而且，我们已经从研究人员那里看到了令人印象深刻的结果，他们已经开发了系统行为的多尺度和多保真预测框架(例如，https://doi.org/10.1002/aenm.202003908，https://doi.org/10.1016/j.jmatprotec.2021.117485)．如果有更多的机械数据可供广泛使用，会有什么可能呢?除了ML应用之外，访问不同的力学数据集是否有助于验证或证伪力学行为的理论预测?开放对机械数据集的访问会为超材料设计带来新的方向吗?许多力学与其他领域耦合的系统和/或力学行为随时间变化的系统仍然知之甚少。对不同条件下的机械数据集开放访问是否会实现前所未有的预测建模?

4.讨论问题

本期刊俱乐部的目标是促进关于ML应用程序和其他应用程序的基于数据集的管理机制的讨论。以下是一些额外的讨论问题:

*哪些资源或即将举行的会议是其他人了解该主题的好机会?

*对于那些怀疑ML在力学问题中的效用的人(例如，https://arxiv.org/abs/2112.12054)，什么会让你印象深刻?你能设计一个数据集、问题陈述或基准测试挑战问题，其中基于ML的预测将是有影响力的吗?

*对于每个人来说，你希望在未来看到什么类型的基准数据集?新的基准数据集和相关的挑战问题应该包含什么?

*管理数据集是时间、劳动和资源密集型的(例如，参见FAIR指南https://www.go-fair.org/fair-principles/，https://sites.bu.edu/lejeunelab/files/2022/04/Lejeune_Data_Management_Plan.pdf) -是否应该将有限的资源(即时间、金钱、存储空间)分配给这些努力?

*机械数据格式化最有用的方法是什么?每个数据集应该包含哪些必要的元数据?

*什么时候管理和保存数据是有意义的，什么时候是不必要的(例如，一个FEA模拟可以产生GB的数据)?

*是否有其他领域的数据存储库的例子，可以适应/模拟力学问题?例如，材料基因组计划(https://www.mgi.gov/)．

*你认为基准数据集在力学教育中有作用吗?例如，对于一个对力学/ML接口研究感兴趣的一年级研究生来说，基准数据集是一个很好的资源吗?教育基准数据集应该包含什么?

*你是否有一个公开可用的数据集，我们可以添加到这个非正式的机械数据列表中(https://elejeune11.github.io/) ?如果是这样，我很想把它包括在内!

简要说明一下，我和同事Juner Zhu、M. Khalid Jawed、徐宏毅(Hongyi Xu)将在SES 2022组织一个关于“复杂多物理系统、结构和材料的数据驱动方法”的小型研讨会。摘要提交现已开放，所以请考虑加入我们在SES继续讨论力学/ML接口的研究(专题会议3.3https://na.eventscloud.com/eSites/658176/Homepage)．

最后，请随时分享其他论文、感兴趣的方法和其他即将举行的活动。这个领域发展得如此之快，有很多我上面没有提到的例子值得强调。

以下是本次期刊俱乐部在2022年5月期间获得的一些额外资源的简要总结——感谢所有参与的人!

*我们将数据集8-13添加到非正式列表中(https://elejeune11.github.io/) -谢谢大家的建议+如果你有更多合适的例子，请继续与我们联系!

* Ajay提到DesignSafe Data Depot (https://www.designsafe-ci.org/data/browser/public/)，是自然灾害相关数据集的绝佳资源。这个话题也在他2022年6月的期刊俱乐部帖子(https://万博manbetx平台m.limpotrade.com/node/26009)．

* Steve链接到几个社区相关的社区资源:(1)机械机器学习和数字双胞胎的icacm会议(https://mmldt.eng.ucsd.edu/home)、(2)机械学ML短期课程(https://mmldtshortcourse.weebly.com/lecture-notes.html)、(3)LLNL数据驱动物理模拟系列研讨会(https://data-science.llnl.gov/latest/news/virtual-seminar-series-explores-data-driven-physical-simulations）

*总的来说，很多人都发表了非常有思想的帖子来评论他们是如何与机制数据集互动的!请查看它们，并继续作出适当的贡献。