频率原理：深度学习中的谱偏置

背景#

频率原理（Frequency Principle, F-Principle）是近年来深度学习理论中的一个重要发现。它指出：深度神经网络（DNN）在训练过程中倾向于优先拟合目标函数的低频成分，然后才逐渐学习高频细节。

这一现象最早由 Xu et al. (2019) 系统性地提出，随后在多个研究组得到了理论和实验上的验证。

核心现象#

给定一个目标函数 $f(x)$ ，考虑其 Fourier 变换：

\hat{f}(k) = \int f(x) e^{-i k x} dx

DNN 训练过程中，相对误差在不同频率分量上的演化规律为：

e(k, t) = \frac{|\hat{f}_{DNN}(k, t) - \hat{f}(k)|}{|\hat{f}(k)|}

实验观察到：对于低频（小 $|k|$ ）， $e(k,t)$ 快速下降；对于高频（大 $|k|$ ），下降缓慢。

理论解释#

1. NTK 视角#

从神经正切核（Neural Tangent Kernel, NTK）的角度，梯度下降的动态可以近似为：

\partial_t f_\theta(x, t) = -\int K_\theta(x, x') \frac{\delta \mathcal{L}}{\delta f(x')} dx'

其中 $K_\theta$ 是 NTK。NTK 的特征值在高频上衰减更快，导致高频分量收敛更慢。

2. 谱分析#

Luo et al. (2020) 进一步证明了对于两层 ReLU 网络，NTK 的谱性质可以严格分析，其在高维球面上的特征函数是球谐函数，对应的特征值随频率增加而衰减。

在 PINNs 中的影响#

频率原理对物理信息神经网络（PINNs）有重要影响：

刚性 PDE 问题：对于包含高频解的 PDE，标准 PINNs 训练困难
多尺度方法：可以利用频率原理设计从低频到高频的逐步训练策略
Fourier 特征映射：Tancik et al. (2020) 提出的随机 Fourier 特征可以缓解谱偏置

1
# Fourier 特征映射示例
2
import torch
3
import math
4

5
def fourier_feature_mapping(x, B, scale=1.0):
6
    """
7
    x: 输入坐标 [N, d]
8
    B: 随机频率矩阵 [d, m]
9
    返回: [N, 2m]
10
    """
11
    x_proj = 2 * math.pi * x @ B * scale
12
    return torch.cat([torch.sin(x_proj), torch.cos(x_proj)], dim=-1)

参考文献#

Xu, Z. J., et al. “Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks.” Communications in Computational Physics, 2020.
Luo, T., et al. “Theory of the Frequency Principle for General Deep Neural Networks.” CSIAM Transactions on Applied Mathematics, 2021.
Rahaman, N., et al. “On the Spectral Bias of Neural Networks.” ICML, 2019.
Tancik, M., et al. “Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains.” NeurIPS, 2020.

思考#

频率原理为理解 DNN 的学习动力学提供了一个优美的数学框架。从 SciML 的角度，如何利用这一原理来设计更好的神经网络架构和训练策略，仍然是一个开放且有价值的研究方向。

背景#