基于神经网络的偏微分方程求解器新突破:北大&字节研究成果入选Nature子刊

近年来,基于神经网络的偏微分方程求解器在各领域均得到了广泛关注。其中,量子变分蒙特卡洛方法(NNVMC)在量子化学领域异军突起,对于一系列问题的解决展现出超越传统方法的精确度 [1, 2, 3, 4]。北京大学与字节跳动研究部门 ByteDance Research 联合开发的计算框架 Forward Laplacian 创新地利用 Laplace 算子前向传播计算,为 NNVMC 领域提供了十倍的加速,从而大幅降低计算成本,达成该领域多项 State of the Art,同时也助力该领域向更多的科学难题发起冲击。该工作以《A computational framework for neural network-based variational Monte Carlo with Forward Laplacian》为题的论文已发表于国际顶级期刊《Nature Machine Intelligence》,相关代码已开源。

该项工作一提出即受到相关研究人员的密切关注,围绕该工作已有多个开源项目实现,编程框架 JAX 也计划将该项工作吸收其中。

该项工作由北京大学智能学院王立威课题组、物理学院陈基课题组联合字节跳动研究部门 ByteDance Research 一同开发完成,作者中有多位北京大学博士生在 ByteDance Research 实习。

背景简介

基于神经网络的量子变分蒙特卡洛方法(NNVMC)已成为量子化学 - 从头计算领域中一项前沿技术。它具备精度高、适用范围广等优点。但它的阿克琉斯之踵在于过高的计算成本,这也限制了该方法在实际化学问题中的应用。

作者提出了一套全新的计算框架 "Forward Laplacian",利用 Laplace 算子的前向传播,显著提升了 NNVMC 方法的计算效率,为人工智能在微观量子问题中的应用打开了新的大门。

方法介绍

Forward Laplacian 框架

在 NNVMC 方法中,神经网络的目标函数是微观体系的能量,包括动能与势能两项。其中动能项涉及对神经网络的拉普拉斯算子的计算,这也是 NNVMC 中耗时最长的计算瓶颈。现有的自动微分框架在计算拉普拉斯算子时,需要先计算黑塞矩阵,再求得拉普拉斯项(即黑塞矩阵的迹)。而作者所提出的计算框架 "Forward Laplacian" 则通过一次前向传播直接求得拉普拉斯项,避免了黑塞矩阵的计算,从而削减了整体计算的规模,实现了显著加速。

LapNet 网络

除了有效削减计算图规模之外,Forward Laplacian 框架的另一大特点是能有效利用神经网络梯度计算中的稀疏性,提出神经网络结构 LapNet。LapNet 通过增加神经网络中的稀疏性,在精度无损的同时,显著提升了网络计算的效率。

计算结果

绝对能量

作者首先就方法的效率及精度同当前 NNVMC 领域有代表性的几项工作进行了比较。从绝对能量的计算结果而言,作者提出的 LapNet 在 Forward Laplacian 框架下的效率高于参考工作数倍,精度上也与 SOTA 保持一致。此外,如果在相同计算资源(即相同 GPU hour)的情况下比较,LapNet 的计算结果可以显著优于之前的 SOTA。

加速标度

为了更明确地研究作者所提出方法相比于之前 SOTA 的加速标度,作者在不同大小的链式聚乙烯体系上进行了测试,结果可以很明显地看到 Forward Laplacian 工作带来的 O (n) 加速。此处 n 为目标分子中的电子数目。

相对能量

在物理、化学研究中,相对能量相较于绝对能量具有更明确的物理意义。作者也在一系列的体系上进行了测试,均取得了理想结果。

总结

为降低基于神经网络的量子变分蒙特卡洛方法(NNVMC)的使用门槛,北京大学与字节跳动研究部门 ByteDance Research 联合开发了计算框架 Forward Laplacian,实现了十倍的加速。该工作已受到相关研究人员的广泛关注,期望能够推动 NNVMC 方法在更多科学问题中发挥重要作用。

免责声明:文章内容不代表本站立场,仅供读者参考。产品相关技术问题请发送工单。 本文链接:https://www.idc.net/help/415249/

为您推荐

当"狂飙"的大模型撞上推荐系统

随着以 ChatGPT 为代表的大模型技术的迅速发展,推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测,大模型技术的出现,为推荐系统带来了更强的泛化能力和更高的效率,解决了传统推荐系统中的一些难题,如用户和物品数量的巨大规模、不可观测因素对推荐的影响等。同时,大模型推荐技术也带来...

谷歌杀入开源大模型,单挑Meta Llama2,凭什么问鼎王座?

兵贵神速。在大模型的必争之地,谷歌却总是慢人一步,因而屡屡被调侃“起了大早,赶个晚集”。但昨日,谷歌却突放大招,发布了一款开放模型——Gemma,并声称其是轻量级中“最先进的”开放模型系列,超越了原本最强的Mistral 7B。 这款以拉丁语“宝石”命名的模型在此时推出颇有意味。其一,据谷歌官网介绍,Gemma采用了与...

GPT-4正接管人类数据专家!先验知识让LLM大胆预测,准确率堪比传统方式

在数据科学中,AI研究员经常面临处理不完整数据集的挑战。 然而,许多已有的算法根本无法处理「不完整」的数据序列。 传统上,数据科学家会求助于专家,利用他们的专业知识来填补空白,然而这一过程既耗时,却又不实用。 如果AI可以接管专家的角色,又会如何呢? 近日,来自德国人工智能中心、大阪公立大学等团队的研究人员,调查了LL...

重要的医学AI应用:使用多模态 CNN-DDI 预测药物间相互作用事件

生病时,医生往往给我们开了多种药物,这些药物在同时服下时是否因为药物间相互作用产生对身体不良的效果,这引起我们的怀疑和担心。其实医生所开的药方的药品已经经过了药物间相互作用的实验和临床测试,我们不应对此产生疑虑。 药物间相互作用(DDI)是指当一个患者同时服用多种药物时,药物之间可能发生的反应,这些反应可能会影响药物的...

谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家

视频生成进展如火如荼,Pika迎来一位大将—— 谷歌研究员Omer Bar-Tal,担任Pika创始科学家。 一个月前,还在谷歌以共同一作的身份发布视频生成模型Lumiere,效果十分惊艳。 当时网友表示:谷歌加入视频生成战局,又有好戏可看了。 Stability AI CEO、谷歌前同事等在内一些业内人士送上了祝福。...
返回顶部