SciML 研究笔记

频率原理：深度学习中的谱偏置

Wed, 13 May 2026 00:00:00 GMT

背景#

频率原理（Frequency Principle, F-Principle）是近年来深度学习理论中的一个重要发现。它指出：深度神经网络（DNN）在训练过程中倾向于优先拟合目标函数的低频成分，然后才逐渐学习高频细节。

这一现象最早由 Xu et al. (2019) 系统性地提出，随后在多个研究组得到了理论和实验上的验证。

核心现象#

给定一个目标函数 f(x)f(x)f(x)，考虑其 Fourier 变换：

f^(k)=∫f(x)e−ikxdx\hat{f}(k) = \int f(x) e^{-i k x} dxf^(k)=∫f(x)e−ikxdx

DNN 训练过程中，相对误差在不同频率分量上的演化规律为：

e(k,t)=∣f^DNN(k,t)−f^(k)∣∣f^(k)∣e(k, t) = \frac{|\hat{f}_{DNN}(k, t) - \hat{f}(k)|}{|\hat{f}(k)|}e(k,t)=∣f^(k)∣∣f^DNN(k,t)−f^(k)∣

实验观察到：对于低频（小 ∣k∣|k|∣k∣），e(k,t)e(k,t)e(k,t) 快速下降；对于高频（大 ∣k∣|k|∣k∣），下降缓慢。

理论解释#

1. NTK 视角#

从神经正切核（Neural Tangent Kernel, NTK）的角度，梯度下降的动态可以近似为：

∂tfθ(x,t)=−∫Kθ(x,x′)δLδf(x′)dx′\partial_t f_\theta(x, t) = -\int K_\theta(x, x') \frac{\delta \mathcal{L}}{\delta f(x')} dx'∂tfθ(x,t)=−∫Kθ(x,x′)δf(x′)δLdx′

其中 KθK_\thetaKθ 是 NTK。NTK 的特征值在高频上衰减更快，导致高频分量收敛更慢。

2. 谱分析#

Luo et al. (2020) 进一步证明了对于两层 ReLU 网络，NTK 的谱性质可以严格分析，其在高维球面上的特征函数是球谐函数，对应的特征值随频率增加而衰减。

在 PINNs 中的影响#

频率原理对物理信息神经网络（PINNs）有重要影响：

刚性 PDE 问题：对于包含高频解的 PDE，标准 PINNs 训练困难
多尺度方法：可以利用频率原理设计从低频到高频的逐步训练策略
Fourier 特征映射：Tancik et al. (2020) 提出的随机 Fourier 特征可以缓解谱偏置

1
# Fourier 特征映射示例
2
import torch
3
import math
4

5
def fourier_feature_mapping(x, B, scale=1.0):
6
    """
7
    x: 输入坐标 [N, d]
8
    B: 随机频率矩阵 [d, m]
9
    返回: [N, 2m]
10
    """
11
    x_proj = 2 * math.pi * x @ B * scale
12
    return torch.cat([torch.sin(x_proj), torch.cos(x_proj)], dim=-1)

参考文献#

Xu, Z. J., et al. “Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks.” Communications in Computational Physics, 2020.
Luo, T., et al. “Theory of the Frequency Principle for General Deep Neural Networks.” CSIAM Transactions on Applied Mathematics, 2021.
Rahaman, N., et al. “On the Spectral Bias of Neural Networks.” ICML, 2019.
Tancik, M., et al. “Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains.” NeurIPS, 2020.

思考#

频率原理为理解 DNN 的学习动力学提供了一个优美的数学框架。从 SciML 的角度，如何利用这一原理来设计更好的神经网络架构和训练策略，仍然是一个开放且有价值的研究方向。

PINNs 入门：物理信息神经网络的核心思想

Tue, 12 May 2026 00:00:00 GMT

什么是 PINNs#

物理信息神经网络（Physics-Informed Neural Networks, PINNs）由 Raissi et al. (2019) 提出，其核心思想是将物理定律（以 PDE 形式）嵌入神经网络的损失函数中。

数学框架#

考虑一般的 PDE 问题：

N[u](x)=f(x),x∈ΩB[u](x)=g(x),x∈∂Ω\begin{aligned} \mathcal{N}[u](x) &= f(x), \quad x \in \Omega \\ \mathcal{B}[u](x) &= g(x), \quad x \in \partial\Omega \end{aligned}N[u](x)B[u](x)=f(x),x∈Ω=g(x),x∈∂Ω

其中 N\mathcal{N}N 是微分算子，B\mathcal{B}B 是边界条件算子。

损失函数#

PINNs 的损失函数由两部分组成：

L(θ)=Ldata+λLphys\mathcal{L}(\theta) = \mathcal{L}_{data} + \lambda \mathcal{L}_{phys}L(θ)=Ldata+λLphys

其中：

数据损失：Ldata=1Nd∑i=1Nd∥uθ(xi)−ui∥2\mathcal{L}_{data} = \frac{1}{N_d} \sum_{i=1}^{N_d} \|u_\theta(x_i) - u_i\|^2Ldata=Nd1∑i=1Nd∥uθ(xi)−ui∥2
物理损失：Lphys=1Np∑j=1Np∥N[uθ](xj)−f(xj)∥2\mathcal{L}_{phys} = \frac{1}{N_p} \sum_{j=1}^{N_p} \|\mathcal{N}[u_\theta](x_j) - f(x_j)\|^2Lphys=Np1∑j=1Np∥N[uθ](xj)−f(xj)∥2
λ\lambdaλ 是平衡参数

自动微分#

物理损失中使用自动微分（Automatic Differentiation）来计算导数：

1
import torch
2

3
def pde_residual(model, x):
4
    """
5
    计算 PDE 残差
6
    model: 神经网络 u_theta(x)
7
    x: 配置点 [N, d]
8
    """
9
    x.requires_grad_(True)
10
    u = model(x)
11

12
    # 一阶导数
13
    du_dx = torch.autograd.grad(
14
        u, x,
15
        grad_outputs=torch.ones_like(u),
16
        create_graph=True
17
    )[0]
18

19
    # 二阶导数
20
    d2u_dx2 = torch.autograd.grad(
21
        du_dx, x,
22
        grad_outputs=torch.ones_like(du_dx),
23
        create_graph=True
24
    )[0]
25

26
    # 对于 Poisson 方程: -Δu = f
27
    residual = -d2u_dx2.sum(dim=1) - f(x)
28
    return residual

展开收起

简单示例：1D Poisson 方程#

求解 −u′′(x)=π2sin⁡(πx),x∈[0,1]-u''(x) = \pi^2 \sin(\pi x), x \in [0, 1]−u′′(x)=π2sin(πx),x∈[0,1]，边界条件 u(0)=u(1)=0u(0) = u(1) = 0u(0)=u(1)=0。

解析解：u(x)=sin⁡(πx)u(x) = \sin(\pi x)u(x)=sin(πx)。

1
import torch
2
import torch.nn as nn
3

4
class PINN(nn.Module):
5
    def __init__(self, layers):
6
        super().__init__()
7
        self.net = nn.Sequential()
8
        for i in range(len(layers) - 1):
9
            self.net.append(nn.Linear(layers[i], layers[i+1]))
10
            if i < len(layers) - 2:
11
                self.net.append(nn.Tanh())
12

13
    def forward(self, x):
14
        return self.net(x)
15

16
# 网络结构: [1, 32, 32, 32, 1]
17
model = PINN([1, 32, 32, 32, 1])
18

19
# 训练配置
20
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
21
lambda_phys = 1.0

展开收起

PINNs 的优势与挑战#

优势

无网格：不需要传统的网格生成
数据融合：自然地结合观测数据和物理定律
反向问题：容易处理参数识别的反向问题

挑战

训练困难：损失函数刚性，收敛慢
高频问题：受频率原理影响，难以学习高频解
权重平衡：λ\lambdaλ 的选择对结果影响大
可扩展性：高维问题计算量激增

参考文献#

Raissi, M., Perdikaris, P., & Karniadakis, G. E. “Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations.” Journal of Computational Physics, 2019.
Lu, L., Meng, X., Mao, Z., & Karniadakis, G. E. “DeepXDE: A deep learning library for solving differential equations.” SIAM Review, 2021.
Karniadakis, G. E., et al. “Physics-informed machine learning.” Nature Reviews Physics, 2021.

神经算子：从 DeepONet 到 FNO

Mon, 11 May 2026 00:00:00 GMT

动机#

传统的神经网络学习的是有限维向量到有限维向量的映射 f:Rd→Rkf: \mathbb{R}^d \to \mathbb{R}^kf:Rd→Rk。但在科学计算中，我们经常需要学习函数到函数的映射（算子）：

G:A→U,G(a)=u\mathcal{G}: \mathcal{A} \to \mathcal{U}, \quad \mathcal{G}(a) = uG:A→U,G(a)=u

例如：

初始条件 → PDE 解
材料参数 → 应力场
边界条件 → 流场

这类映射是无限维的：输入和输出都是函数，而非有限维向量。

DeepONet#

Lu et al. (2021) 提出的 DeepONet 基于广义逼近定理，将算子学习分解为两个子网络：

架构#

G(a)(y)≈∑k=1pbk(a)⋅tk(y)⏟trunk+b0\mathcal{G}(a)(y) \approx \underbrace{\sum_{k=1}^{p} b_k(a) \cdot t_k(y)}_{\text{trunk}} + b_0G(a)(y)≈trunkk=1∑pbk(a)⋅tk(y)+b0

Branch Net b(a)b(a)b(a)：编码输入函数 a(x)a(x)a(x) 为有限维特征向量
Trunk Net t(y)t(y)t(y)：编码输出位置 yyy 为基础函数

关键洞察#

DeepONet 的理论基础是 Universal Approximation Theorem for Operators (Chen & Chen, 1995)：

任何连续非线性算子都可以被单隐层神经网络以任意精度逼近。

1
class DeepONet(nn.Module):
2
    def __init__(self, branch_layers, trunk_layers):
3
        super().__init__()
4
        self.branch = MLP(branch_layers)  # 输入: a(x) 的采样值
5
        self.trunk = MLP(trunk_layers)     # 输入: 位置 y
6

7
    def forward(self, a, y):
8
        b = self.branch(a)  # [batch, p]
9
        t = self.trunk(y)   # [batch, p]
10
        return torch.sum(b * t, dim=-1)  # 内积

Fourier Neural Operator (FNO)#

Li et al. (2021) 提出的 FNO 采用了完全不同的策略——在 Fourier 空间中进行变换。

架构#

FNO 的核心是 Fourier 层，迭代更新：

vt+1(x)=σ(Wvt(x)+F−1[R⋅F[vt]](x))v_{t+1}(x) = \sigma\left(W v_t(x) + \mathcal{F}^{-1}[R \cdot \mathcal{F}[v_t]](x)\right)vt+1(x)=σ(Wvt(x)+F−1[R⋅F[vt]](x))

其中：

F\mathcal{F}F 是 Fourier 变换
RRR 是可学习的 Fourier 域权重矩阵
WWW 是局部线性变换

关键优势#

离散化不变性：相同的网络参数可用于不同分辨率
全局感受野：Fourier 变换天然捕捉全局依赖
快速计算：利用 FFT，复杂度 O(Nlog⁡N)O(N \log N)O(NlogN)

1
class SpectralConv2d(nn.Module):
2
    def __init__(self, in_channels, out_channels, modes):
3
        super().__init__()
4
        self.modes = modes
5
        # Fourier 域中的可学习权重
6
        self.weights = nn.Parameter(
7
            torch.randn(in_channels, out_channels, modes, modes, dtype=torch.cfloat)
8
        )
9

10
    def forward(self, x):
11
        # x: [batch, channels, H, W]
12
        x_ft = torch.fft.rfft2(x)
13
        # 截断高频模式
14
        x_ft[:, :, :self.modes, :self.modes] *= self.weights
15
        return torch.fft.irfft2(x_ft)

展开收起

对比与适用场景#

特性	DeepONet	FNO
理论基础	算子通用逼近定理	Fourier 分析
输入格式	函数在传感器位置的采样	规则网格上的函数值
网格适应性	不要求规则网格	默认要求规则网格（可扩展）
高频分量	Branch Net 编码	通过 Fourier 截断控制
训练效率	中等	高（FFT 加速）

参考文献#

Lu, L., et al. “Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators.” Nature Machine Intelligence, 2021.
Li, Z., et al. “Fourier Neural Operator for Parametric Partial Differential Equations.” ICLR, 2021.
Kovachki, N., et al. “Neural Operator: Learning Maps Between Function Spaces.” JMLR, 2023.