神经算子：从 DeepONet 到 FNO

动机#

传统的神经网络学习的是有限维向量到有限维向量的映射 $f: \mathbb{R}^d \to \mathbb{R}^k$。但在科学计算中，我们经常需要学习函数到函数的映射（算子）：

例如：

• 初始条件 → PDE 解
• 材料参数 → 应力场
• 边界条件 → 流场

这类映射是无限维的：输入和输出都是函数，而非有限维向量。

DeepONet#

Lu et al. (2021) 提出的 DeepONet 基于广义逼近定理，将算子学习分解为两个子网络：

1
class DeepONet(nn.Module):
2
    def __init__(self, branch_layers, trunk_layers):
3
        super().__init__()
4
        self.branch = MLP(branch_layers)  # 输入: a(x) 的采样值
5
        self.trunk = MLP(trunk_layers)     # 输入: 位置 y
6

7
    def forward(self, a, y):
8
        b = self.branch(a)  # [batch, p]
9
        t = self.trunk(y)   # [batch, p]
10
        return torch.sum(b * t, dim=-1)  # 内积

Fourier Neural Operator (FNO)#

Li et al. (2021) 提出的 FNO 采用了完全不同的策略——在 Fourier 空间中进行变换。

1
class SpectralConv2d(nn.Module):
2
    def __init__(self, in_channels, out_channels, modes):
3
        super().__init__()
4
        self.modes = modes
5
        # Fourier 域中的可学习权重
6
        self.weights = nn.Parameter(
7
            torch.randn(in_channels, out_channels, modes, modes, dtype=torch.cfloat)
8
        )
9

10
    def forward(self, x):
11
        # x: [batch, channels, H, W]
12
        x_ft = torch.fft.rfft2(x)
13
        # 截断高频模式
14
        x_ft[:, :, :self.modes, :self.modes] *= self.weights
15
        return torch.fft.irfft2(x_ft)

对比与适用场景#

参考文献#

1. Lu, L., et al. “Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators.” Nature Machine Intelligence, 2021.
2. Li, Z., et al. “Fourier Neural Operator for Parametric Partial Differential Equations.” ICLR, 2021.
3. Kovachki, N., et al. “Neural Operator: Learning Maps Between Function Spaces.” JMLR, 2023.