Skip to content

文档日期

2026-09-04 · 把所有稀有状态同时求和 ​

0. 导读与元结构 (Orientation & Meta-structure) ​

起点问题。 前两日研究的是事件概率:Cramér 定理给经验均值的率函数,Sanov 定理给经验分布的率函数。今天把问题改成

Zn(F):=Eexp⁡{anF(Zn)},

其中 Zn 是某个随机状态,an→∞ 是大偏差速度,F 是 reward / potential(奖赏或势函数)。即使 Zn 依概率趋向典型点,也不能只把 F(Zn) 换成典型值:一个状态可能有 e−anI(x) 级的小概率,却被 eanF(x) 级的大权重放大。每个 x 的净指数是

F(x)−I(x),

而所有状态相加后,由最大的净指数支配。Varadhan integral lemma(Varadhan 积分引理)把这句话精确化为

(V)limn→∞1anlog⁡Zn(F)=supx∈E{F(x)−I(x)}.

对象与量词分为五层:

  1. 固定 Polish space(Polish 空间)E 与 E-值随机元 Zn;
  2. 令 μn=L(Zn),假设 {μn} 以速度 an→∞、好率函数 I 满足 LDP;
  3. 对每个有界连续函数 F:E→R,形成指数积分 Zn(F);
  4. 先对随机状态积分,再取 an−1log 极限;
  5. 结论是在整个状态空间上优化 F−I,而不是只在 I=0 的典型点上代入。

先修:闭集上界与开集下界、连续函数、有限覆盖、相对熵。主导 proof engines:下界只保留一个近似最优点的开邻域;上界把 F 的值域切成有限层并使用“有限个指数项中最强者胜出”。去向:Gibbs variational principle(Gibbs 变分原理)、配分函数与自由能、指数倾斜后的新率函数、Gärtner–Ellis 对偶、随机图自由能和相变。

本期是三日 anchor micro-arc 的 Day 3。Day 1 说明指定均值的概率代价由 Legendre 对偶给出;Day 2 说明指定经验分布的概率代价是相对熵;Day 3 则把所有候选分布同时指数加权,得到

free energy=sup{reward−entropy cost}.

至此“事件概率—相对熵—自由能”的对偶链闭合。

1. 核心概念、定理与谱系 (Concept, Theorem & Lineage) ​

1.1 从有限 log-sum-exp 看见主机制 ​

先看有限个实数 b1,…,bm。有

maxibi≤1nlog⁡∑i=1menbi≤maxibi+log⁡mn.

因此

(1)limn→∞1nlog⁡∑i=1menbi=maxibi.

这不是“较小项等于零”,而是它们相对最大项只有 e−nc 级贡献,有限求和不能改变主指数。若 Zn 取值在有限集,且

P(Zn=x)≈e−anI(x),

则

EeanF(Zn)=∑xeanF(x)P(Zn=x)≈∑xean(F(x)−I(x)),

由 (1) 自然得到 (V)。一般空间的困难仅在于:状态不可数、概率只有集合级上下界,而且必须控制尾部。LDP 的拓扑语言恰好提供所需替代物。

1.2 Varadhan 引理:完整假设与量词 ​

定义回顾。 设 E 为 Polish 空间,an>0 且 an→∞。概率测度 μn 以速度 an、率函数 I:E→[0,∞] 满足大偏差原理,是指 I 下半连续,并且

(2)∀C⊂E closed,lim supn→∞1anlog⁡μn(C)≤−infx∈CI(x),∀O⊂E open,lim infn→∞1anlog⁡μn(O)≥−infx∈OI(x).

若进一步

∀L<∞,{x∈E:I(x)≤L} is compact,

则称 I 是 good rate function(好率函数)。

定理(Varadhan integral lemma,有界连续版)。 设 E 是 Polish 空间,an→∞,Zn 的分布 μn 以速度 an 和好率函数 I 满足 (2)。则对每个有界连续函数 F:E→R,

(3)limn→∞1anlog⁡EeanF(Zn)=supx∈E{F(x)−I(x)}.

这里的有界性不是为了让公式好看:Section 4 会给出删去它后左侧无穷、右侧有限的具体反例。

1.3 证明架构:一个邻域给下界,有限分层给上界 ​

记

Λ(F):=supx∈E{F(x)−I(x)}.

下界。 固定任意 x∈E 使 I(x)<∞,再固定 ε>0。由 F 连续,存在 x 的开邻域 Ox,ε,使

F(y)≥F(x)−ε,y∈Ox,ε.

因此

EeanF(Zn)≥ean(F(x)−ε)μn(Ox,ε).

用 (2) 的开集下界,

lim infn→∞1anlog⁡EeanF(Zn)≥F(x)−ε−infy∈Ox,εI(y)≥F(x)−I(x)−ε.

先对 x 取上确界,再令 ε↓0,得到下界 Λ(F)。其机制与 Sanov 下界相同:不必描述所有实现,只需保留一条足够便宜的策略。

上界。 令

m:=infEF,M:=supEF.

固定 δ>0,把有界区间 [m,M] 分成有限个长度不超过 δ 的闭小区间 J1,…,JN,并令

Ck:={x∈E:F(x)∈Jk}.

每个 Ck 都闭。若 uk 是 Jk 的右端点,则

(4)EeanF(Zn)≤∑k=1Neanukμn(Ck).

有限和在 an−1log 尺度上由最大项支配;对每项使用闭集上界,得

lim supn→∞1anlog⁡EeanF(Zn)≤max1≤k≤N{uk−infx∈CkI(x)}.

对 x∈Ck 有 uk≤F(x)+δ,故右侧至多为 Λ(F)+δ。令 δ↓0 即得上界。

这解释了每项假设的角色:连续性把近似最优点扩成开邻域,也使值域切片闭合;有界性保证只需有限分层;LDP 的开集下界与闭集上界分别服务于两个方向。

1.4 把昨日的 Sanov 定理代入:Gibbs 变分公式 ​

设有限集合 S={1,…,m},真分布 p=(p1,…,pm) 满足 pi>0。令 X1,X2,… i.i.d. 服从 p,经验测度为

Ln(i)=1n#{j:Xj=i}.

昨日的 Sanov 定理说明 Ln 以速度 n 满足 LDP,率函数是

D(q∥p)=∑i=1mqilog⁡qipi.

给定任意势 V:S→R,在概率单纯形上定义

FV(q):=∑i=1mqiV(i).

它连续且有界。Varadhan 引理给出

(5)limn→∞1nlog⁡Eexp⁡{nFV(Ln)}=supq∈Δm{∑iqiV(i)−D(q∥p)}.

但

nFV(Ln)=∑j=1nV(Xj),

所以独立性使左侧对每个 n 都精确等于

1nlog⁡(EeV(X1))n=log⁡∑i=1mpieV(i).

于是得到 Gibbs variational formula(Gibbs 变分公式):

(6)log⁡∑i=1mpieV(i)=supq∈Δm{∑i=1mqiV(i)−D(q∥p)}.

最优分布不是猜出的。令

ZV:=∑i=1mpieV(i),qV(i):=pieV(i)ZV.

对任意 q∈Δm,直接展开可得

(7)D(q∥qV)=D(q∥p)−∑iqiV(i)+log⁡ZV.

因为 D(q∥qV)≥0,(6) 的上确界在 q=qV 处取得;又因 qV(i)>0,等号条件给出唯一性。Day 1 的 exponential tilt(指数倾斜)与 Day 2 的 information projection(信息投影),在这里成为配分函数的唯一 Gibbs optimizer(Gibbs 最优分布)。

若物理记号取能量 H=−V、逆温 β>0,则

log⁡∑ipie−βH(i)=−infq{βEqH+D(q∥p)}.

“能量低”与“相对熵代价小”不能同时任意满足;自由能正是二者竞争后的最优值。

1.5 指数倾斜怎样改写率函数 ​

回到一般 E。定义新的概率测度

(8)dνnFdμn(x):=eanF(x)Zn(F),Zn(F)=∫EeanFdμn.

由 (3),

limn→∞1anlog⁡Zn(F)=supx(F(x)−I(x))=−infx(I(x)−F(x)).

因此新测度下的归一化率函数是

(9)IF(x)=I(x)−F(x)−infy∈E{I(y)−F(y)}.

它满足 infIF=0。直观上,原来的代价 I 被奖赏 F 抵消;新典型态正是 F−I 的最大点。严格证明可把 (8) 对闭集、开集分别与原 LDP 结合,或应用 exponential weighting(指数加权)版本的 Varadhan 引理。

1.6 谱系与 modern extension ​

经典 Laplace method(Laplace 方法)研究有限维积分

∫enf(x)g(x)dx

在 n→∞ 时如何由 f 的极大点主导。Michael Schilder 在小噪声 Brownian motion 的工作中,通过有限维积分逼近得到函数空间指数积分的变分公式。Varadhan 在 1966 年论文 Asymptotic Probabilities and Differential Equations 中把主对象改为概率测度本身的大偏差性质,再由此推出积分变分公式;这一步把有限维 Laplace 方法提升为可在路径空间等一般状态空间上使用的抽象原理。原始有限维机制并未被“淘汰”:最大的 reward-minus-cost 指数仍是核心;现代框架新增的是拓扑、紧性与尾部控制。

Graduate / modern extension. 若 F 不再有界,上述有限分层不能直接封住高势能尾部。一种标准修复是假设

(10)limM→∞lim supn→∞1anlog⁡E[eanF(Zn)1{F(Zn)≥M}]=−∞.

先对截断 F∧M 应用有界版,再用 (10) 证明被删去的尾部在指数尺度上可忽略,便可恢复 (3)。因此“F 连续”只控制局部变化,“指数尾条件”才控制无穷远;二者职责不可混同。

现代文献还常把对所有有界连续 F 成立的 (3) 称为 Laplace principle(Laplace 原理)。在 Polish 空间与好率函数的标准框架中,它与闭集—开集形式的 LDP 相互对应:事件概率与指数积分不是两套平行语言,而是同一渐近结构的集合表述与函数表述。

2. 固定模板习题 (Template Exercise) ​

题目 ​

设 a<b,f:[a,b]→R 连续。证明 logarithmic Laplace method(对数尺度 Laplace 方法)

(11)limn→∞1nlog⁡∫abenf(x)dx=maxx∈[a,b]f(x).

进一步思考:若最大值在端点 a 处取得,下界论证是否仍然成立?

模板识别 ​

看到“紧集上的 enf 积分,只问 n−1log 极限”,应识别

global supremum upper bound+positive-measure near-maximizer lower bound

模板。此尺度不需要 Taylor 展开、二阶导数或 Gaussian 前因子;只需证明极大值附近有一块固定的正测度区域,而所有长度、常数前因子取对数再除以 n 后消失。

分级提示 ​

  1. 由紧致性与连续性,先取 x∗∈[a,b] 使 f(x∗)=M:=maxf。
  2. 上界直接使用 f(x)≤M,把积分控制为 (b−a)enM。
  3. 对任意 ε>0,由连续性找一个与 [a,b] 相交后长度为 ℓε>0 的邻域,使其中 f≥M−ε。
  4. 用该邻域得到 ℓεen(M−ε) 的下界;先令 n→∞,再令 ε↓0。端点情形只需使用单侧邻域。

3. 大家之言 (Mathematician in Their Own Words) ​

人物与语境。 组合学家 Gil Kalai 在个人博客 Combinatorics and more 的 2026-09-03 文章中,报告了一份声称解决 Kozma–Nitzan 一般图渗流猜想、并附 Lean 验证的 AI 文档。该猜想若成立,将推出临界概率处不存在无穷渗流簇的结论;本期不据博客报告判定这份证明已经通过数学共同体核验,而只考察 Kalai 对猜想强度与证据状态的第一人称措辞。下列两句已在原文逐字核对。

核验短引(原文):

“Their conjecture was so general that many of us expected a counterexample to be discovered before long.”

“If verified, this is a remarkable breakthrough.”

中文翻译:

“他们的猜想如此一般,以至于我们许多人原本预期不久便会发现反例。”

“若经核验,这将是一项非凡的突破。”

评论。 第一处判断在校准 conjecture strength(猜想强度):命题越一般,潜在反例的空间通常越大,因而“统一性强”既意味着高杠杆,也意味着高风险。第二处的 if verified 则把 generation(生成)与 acceptance(接受)分开:文档、形式化伴随物和令人惊讶的结论构成强烈证据线索,却不自动消除定义对齐、依赖审计与独立复核。

这与今日定理形成一种方法论上的弱耦合。Varadhan 公式很统一,但其正确性仍被精确限制在“LDP、连续势、适当有界或指数尾控制”之内;Section 4 的临界 Gaussian 反例正是在做边界审计。一般性本身不是证明,形式化外观也不是最终接受。宜以条件式语言保留证据状态:验讫而后信,未验则明言未验。

4. 反例与边界 (Counterexample & Boundary) ​

无界连续势可以让右侧有限、左侧直接发散 ​

令 X∼N(0,1),并定义

Zn:=Xn.

则 Zn∼N(0,1/n),其分布以速度 n 满足 LDP,率函数为

I(x)=x22.

现在删去 Varadhan 引理中“F 有界”的假设,取连续但无界的临界二次势

F(x):=x22.

逐项核验:

  1. F 在 R 上连续,但不有界。
  2. 变分侧完全有限:
    supx∈R{F(x)−I(x)}=supx∈R0=0.
  3. 指数积分侧却对每个 n 都发散:
    EenF(Zn)=Eexp⁡{n2X2n}=EeX2/2=12π∫Rex2/2e−x2/2dx=∞.
  4. 因而
    1nlog⁡EenF(Zn)=+∞
    与右侧的 0 不相等。

此例暴露的边界很精确:对每个固定 x,Gaussian 大偏差代价 I(x) 恰被势函数奖赏 F(x) 抵消;但状态空间无界,无穷多个远处区域累积出无限积分。逐点比较 F−I 不足以控制尾部总质量。

同时,Zn→0 in probability,故普通大数型信息只会给 F(Zn)→0 in probability;它完全看不见 enF(Zn) 的不可积性。这说明从概率收敛跨到指数期望,必须另付 exponential integrability(指数可积性)的代价。条件 (10) 正是修复此失效的尾部门槛。

作为对照,若取 Fc(x)=cx2 且 0≤c<1/2,则

EenFc(Zn)=EecX2=(1−2c)−1/2<∞,

从而左侧极限为 0;右侧

supx{cx2−x22}=0.

临界值 c=1/2 正是积分从有限跃迁到发散的边界。

5. 今日一问与数学地图 (Question & Map) ​

今日一问。 设 E 是紧致度量空间,I:E→[0,∞] 下半连续且 infEI=0,F:E→R 连续。对 β∈R 定义 free-energy curve(自由能曲线)

ϕ(β):=supx∈E{βF(x)−I(x)},

并记极大点集

Mβ:=argmaxx∈E{βF(x)−I(x)}.

尝试证明或辨析:

  1. 为什么 Mβ 非空且紧?
  2. 为什么 ϕ 必为凸函数?
  3. 是否有
    ϕ+′(β)=maxx∈MβF(x),ϕ−′(β)=minx∈MβF(x)?
  4. 若 Mβ 中所有点的 F 值相同,能否推出 ϕ 在 β 处可微?反过来怎样?
  5. 为什么两个具有不同 F 值的最优宏观态并存,会表现为自由能的不可微点,并可解释为 first-order phase transition(一阶相变)的变分原型?

方向提示。 对每个固定 x,β↦βF(x)−I(x) 是仿射函数;ϕ 是这些仿射函数的上确界。比较 ϕ(β+h) 与任意 x∈Mβ,再从 Mβ+h 选择极大点并利用紧性取收敛子列。不要先假设极大点唯一。

数学地图。

有限 log-sum-exp、连续函数、LDP 闭开集界↓Varadhan:指数积分 ⟷sup(F−I)↙↘Sanov+线性势指数加权测度↓↓Gibbs 变分公式IF=I−F−inf(I−F)↘↙配分函数、自由能、最优宏观态↙↘Gärtner--Ellis 与凸对偶不可微自由能与相变↓随机图变分问题、统计力学、路径空间与控制↓log-sum-exp 的 max-plus / tropical 极限

附录 A:习题完整解答 (Full Solution) ​

展开完整解答

模板:global supremum upper bound + positive-measure near-maximizer lower bound(全局上确界上界 + 近极大点正测度下界)。

由 [a,b] 紧且 f 连续,Weierstrass 定理保证存在 x∗∈[a,b],使

M:=f(x∗)=maxx∈[a,b]f(x).

先证上界。对所有 x∈[a,b],f(x)≤M,故

∫abenf(x)dx≤(b−a)enM.

取对数并除以 n,得到

1nlog⁡∫abenf(x)dx≤M+log⁡(b−a)n.

即使 b−a<1,右端第二项为负也没有问题;令 n→∞ 得

(A1)lim supn→∞1nlog⁡∫abenf(x)dx≤M.

再证下界。任取 ε>0。由 f 在 x∗ 连续,存在 rε>0,使得

x∈[a,b],|x−x∗|<rε⟹f(x)>M−ε.

令

Aε:=[a,b]∩(x∗−rε,x∗+rε).

它的 Lebesgue 长度

ℓε:=|Aε|

严格为正。若 x∗=a 或 x∗=b,Aε 只是单侧小区间,但长度仍为正;因此端点极大值不造成缺口。

在 Aε 上,f(x)>M−ε,所以

∫abenf(x)dx≥∫Aεenf(x)dx≥ℓεen(M−ε).

于是

1nlog⁡∫abenf(x)dx≥M−ε+log⁡ℓεn.

令 n→∞,得到

lim infn→∞1nlog⁡∫abenf(x)dx≥M−ε.

由于 ε>0 任意,

(A2)lim infn→∞1nlog⁡∫abenf(x)dx≥M.

合并 (A1) 与 (A2),

limn→∞1nlog⁡∫abenf(x)dx=maxx∈[a,b]f(x).

这个模板只读取主指数。若还要计算 n−1/2 等前因子,就必须加入极大点唯一性、二阶可微性和负二阶导数等更强局部假设;这些都不是本题对数尺度结论所必需的。

资料与来源 (Sources) ​

  1. S. R. S. Varadhan, “Large Deviations”, The Annals of Probability 36(2), 2008, 397–419, DOI 10.1214/07-AOP348;基于 2005 IMS Wald Lectures。第 2 节明确给出:LDP 在有界连续 F 下把指数积分送到 sup(F−I),并讨论生成函数与率函数的对偶。
    https://arxiv.org/pdf/0804.2330

  2. J. M. Swart, “Large Deviation Theory”, lecture notes, version dated 2023-03-08, §§1.2–1.5,尤其 Lemma 1.14(Varadhan’s lemma)及 exponential weighting。用于核对 Polish 空间、好率函数、速度 an、势函数假设和倾斜后率函数。
    https://staff.utia.cas.cz/swart/lecture_notes/LDP23_03_08.pdf

  3. S. R. S. Varadhan, “Asymptotic Probabilities and Differential Equations”, Communications on Pure and Applied Mathematics 19(3), August 1966, 261–286, DOI 10.1002/cpa.3160190303。Wiley 书目页用于核对作者、卷期、页码、首发时间与 DOI;本期谱系所述的一般概率测度框架亦由 Varadhan 的 2008 回顾和访谈交叉说明。
    https://onlinelibrary.wiley.com/doi/10.1002/cpa.3160190303

  4. S. R. Srinivasa Varadhan, interviewed by Sudhir Rao and R. Mohan, “A Large Deviation From the Ordinary”, Bhāvanā, Volume 1, Issue 4, October 2017。用于核对 Varadhan 对 Schilder 有限维逼近及其 1966 年论文抽象目标的第一人称回顾;本期未从该文直接引语。
    https://bhavana.org.in/large-deviations-srs-varadhan/

  5. Daniel W. Stroock, “Large Deviations”, Celebratio Mathematica profile essay on S. R. Srinivasa Varadhan。用于交叉核对从 LDP 到 Varadhan 引理、凸对偶和函数空间应用的历史位置;这是二手学术评述,不是 Section 3 引语来源。
    https://celebratio.org/Varadhan_SRS/article/115/

  6. Gil Kalai, “Amazing: There is no Percolation at the Critical Probability in all Dimensions. (Solved by AI via a conjecture of Gady Kozma and Shahaf Nitzan.)”, Combinatorics and more, 2026-09-03。Section 3 的第一人称短引来源;正文以 “If verified” 明确保留核验条件,本期亦不把标题或博客报告当作定理已获独立确认的证据。
    https://gilkalai.wordpress.com/2026/09/03/amazing-there-is-no-percolation-at-the-critical-probability-in-all-dimensions-solved-by-ai-via-a-conjecture-of-gady-kozma-and-shahaf-nitzan