Skip to content

文档日期

2026-10-16 · 不是把增量减半,而是保住区间宽度 ​

0. 导读与元结构 (Orientation & Meta-structure) ​

2026 年 10 月 16 日,星期五。 Develata,昨天把单坐标敏感度 ci 转成了鞅差的绝对值界 |Di|≤ci,得到指数 −t2/(2∑ici2)。今天不加强函数的假设,却把指数改进为 −2t2/∑ici2。丢失的信息在哪里?

答案是:给定过去,Di 落在一个长度至多 ci 的区间里;粗估计把它扩成了长度 2ci 的对称区间。 条件均值为零不等于区间中点为零,因而不能靠宣称 |Di|≤ci/2 来偷渡改进。

对象与量词分三层:函数在整个乘积空间上满足逐坐标界;随机坐标具有乘积律;固定过去后,增量区间的位置可以改变,而长度有确定上界。结论对每个确定阈值 t>0 成立。

前置:条件期望、有限和求导、方差与 Jensen 不等式。证明引擎:对数指数矩的二阶导数是倾斜方差 → 区间宽度控制方差 → 条件递推与参数优化。这是三日微弧的 2/3 日,明确深化昨日的揭示鞅,而不是另起一遍 Azuma。明日的方向是进一步保留条件方差,尤其照顾稀疏随机图。

1. 核心概念、定理与谱系 (Concept, Theorem & Lineage) ​

1.1 为什么宽度能进入指数矩? ​

Hoeffding 引理(本期先用有限取值版本)。 设实随机变量 Y 有限取值,确定性实数 a≤b 满足 a≤Y≤b a.s.。则

∀λ∈R,Eeλ(Y−EY)≤exp(λ2(b−a)28).

[1, §2] 给出此引理的凸弦证明。这里换用一个揭示“宽度为何出现”的证明。

令 K(s)=log⁡EesY。在原分布的每个取值 y 上定义倾斜分布 (exponentially tilted distribution)

Ps(Y=y)=esyP(Y=y)EesY,s∈R.

这是概率分布,且支撑仍在 [a,b]。有限和可逐项求导,所以

K′(s)=EsY,K″(s)=Vars(Y).

任意支撑于 [a,b] 的概率律,都满足

Var(Y)=minu∈RE(Y−u)2≤E(Y−a+b2)2≤(b−a)24.

因此令 H(s)=K(s)−sEY,有 H(0)=H′(0)=0 及 H″(s)≤(b−a)2/4。带积分余项的 Taylor 公式给出,对所有实数 λ,

H(λ)=λ2∫01(1−u)H″(uλ)du≤λ2(b−a)28.

取指数即得。若 a=b,中心化变量恒为零,也包含在结论中。

RMK。 方差界对每一个倾斜参数都成立,而不只是对原始概率律成立。这正是它能控制整条指数矩曲线、而非仅控制原点二阶导数的原因。

1.2 保住条件区间,而不是猜一个更小的绝对值界 ​

固定整数 n≥1、有限非空集合 E1,…,En。在同一概率空间上,令 Xi 为相互独立的 Ei-值随机变量,f:∏iEi→R。假设存在确定性 ci≥0,满足

∀i∈{1,…,n}, ∀x,y∈∏jEj,[∀j≠i, xj=yj]⟹|f(x)−f(y)|≤ci.

这叫有界差分条件 (bounded differences condition)。记

Fi=σ(X1,…,Xi),Zi=E[f(X)∣Fi],Di=Zi−Zi−1,

其中 F0 平凡。塔式性质给出 E[Di∣Fi−1]=0。

固定任一正概率前缀 h=(x1,…,xi−1),令

gh(a)=Ef(h,a,Xi+1,…,Xn),a∈Ei.

独立性让不同 a 共用同一个未来分布,因此

maxa∈Eigh(a)−mina∈Eigh(a)≤ci.

若 μh=Egh(Xi),则在此前缀下 Di=gh(Xi)−μh,所以它落在

[minagh(a)−μh, maxagh(a)−μh]

中。这是长度至多 ci 的区间,端点依赖 h,长度上界不依赖 h。对每个前缀的条件分布使用引理,得到

∀λ∈R,E[eλDi∣Fi−1]≤eλ2ci2/8a.s.

零概率前缀无需规定条件分布;以上结论是几乎处处的陈述。

1.3 McDiarmid 不等式及其常数来源 ​

定理。 在上述全部假设下,令 C=∑i=1nci2。若 C>0,则

∀t>0,P(f(X)−Ef(X)≥t)≤e−2t2/C,
P(|f(X)−Ef(X)|≥t)≤2e−2t2/C.

若 C=0,逐坐标替换连接任意两点,故 f 为常数,偏差概率为零。[1, §3, Theorem 2]

证明收口。 用条件期望逐步剥离 Dn,Dn−1,…,D1,得到

Eeλ(f(X)−Ef(X))≤eλ2C/8.

于是对每个 λ>0,上尾概率至多 exp⁡(−λt+λ2C/8)。取 λ=4t/C 得到上尾;对 −f 应用同理,再合并两尾。

“四倍”指同一 C,t 下指数的绝对值是昨日粗界的四倍,不是概率恰好缩小四倍。这也不表示实际尾概率达到此上界。

谱系。 独立和的 Hoeffding 界只需控制每个加数的区间;McDiarmid 把对象推广为独立输入的非线性函数,经揭示鞅把局部区间结构传递下去。此处是机制谱系;[1] 将有界差分方法归于 McDiarmid,并列其 1989 年综述。本期没有另行核验那篇原始综述,不据此补写优先权细节。

1.4 研究生延伸:上确界的集中,不等于均值很小 ​

令 Xi 独立同分布于有限集合 E,A 为 E 的非空子集族。定义经验一致偏差 (uniform empirical deviation)

U(X)=supA∈A|1n∑i=1n1{Xi∈A}−P(X1∈A)|.

改变一个输入,对每个 A 都至多改变 1/n;由

|supAuA−supAvA|≤supA|uA−vA|

及绝对值的反三角不等式,U 的每个坐标敏感度至多 1/n。因此

P(|U−EU|≥t)≤2e−2nt2(t>0).

但这不告诉我们 EU 有多小。估计均值需要利用集合族的大小或复杂度;集中与均值定位须分别完成。[1, §4.2–4.3] 从这里可走向经验过程、对称化与学习理论,但本期不把这些名词当作已证明的结果。

2. 固定模板习题 (Template Exercise) ​

题目。 给定整数 m≥2、常数 σ>0,以及同一概率空间上的实随机变量 Y1,…,Ym。不假设独立,假设

∀j∈{1,…,m}, ∀λ∈R,EeλYj≤eσ2λ2/2.

证明 max1≤j≤mYj 可积,并证明

Emax1≤j≤mYj≤σ2log⁡m.

模板识别。 已知单变量指数矩,要求有限族最大值的期望。把最大值送进指数,再用一个和控制;目标中的 log⁡m 提示最后需要取对数,而不是逐对计算协方差。

分级提示。

  1. 对任意 λ>0,比较 eλmaxjYj 和 ∑jeλYj。这一步需要独立性吗?
  2. 先用 e|y|≤ey+e−y 验证可积性,再对指数函数用 Jensen。
  3. 得到含 λ 的上界后,平衡一个 1/λ 项与一个 λ 项。

3. 大家之言 (Mathematician in Their Own Words) ​

语境。 Terence Tao 在个人网站 What's new 的研究学习建议 “Ask yourself dumb questions” 中,讨论成品证明与实际探索过程的差异。本次直接读取作者文章;正文首发日期未能确认,故不补日期。页面开头另引 Halmos,本期不把那段二手引文冒充已核验的 Halmos 原文。[2]

Tao 自己的正文写道:

“However, the process of discovering new mathematics is much messier, full of the pursuit of directions which were naïve, fruitless or uninteresting.”

译: 然而,发现新数学的过程凌乱得多,其中充满了对那些天真、徒劳或无趣方向的追寻。

转述(非引文): 他接着建议,面对标准引理,不妨删掉一个假设、加强一下结论,或尝试另一种证明;即便新路线失败,也会帮助辨认原有方法为何有效,以及不同方法各自的能力。

本刊评论。 昨天已有正确结论,今天仍追问“能不能把 ci 减半?”这个问题的直接答案是不能,但失败诊断把我们引向了正确对象——不是绝对值半径,而是条件支撑宽度。朴素追问的价值不是保证出现新定理,而是逼迫我们指出:究竟哪一步丢了信息?这一点也区别于昨日的“把直觉写成细节”:今天关心的是通过失败的加强,选择更准确的中间对象。

4. 反例与边界 (Counterexample & Boundary) ​

4.1 中心化不保证半径减半 ​

取 X∼Bernoulli(1/10),f(x)=x。逐项检查:

  • 坐标替换界是 c=1。
  • D=X−EX 的取值为 −1/10 与 9/10,条件中心化(此处过去平凡)成立。
  • 支撑宽度恰为 1,但 P(|D|>1/2)=1/10>0。

所以 |D|≤c/2 是假命题。本期的宽度引理仍完全适用;改进结论是真的,偷换中间假设的证明是假的。

4.2 典型配置平坦,不等于全局敏感度为零 ​

取整数 n≥3,令 X1,…,Xn 独立且均匀取值于 {0,1}。定义

f(x)=1{x=(1,…,1)},x∈{0,1}n.

对每个配置 x 定义其局部替换振幅

Li(x)=maxa∈{0,1}|f(x)−f(x1,…,xi−1,a,xi+1,…,xn)|.
  1. 若 x 至少含两个零,改动任一坐标仍至少剩一个零。因此 f(x)=0 且对所有 i 都有 Li(x)=0。
  2. 不满足“至少两个零”的配置共 n+1 个:全一配置及恰有一个零的 n 个配置。所以
P(∀i, Li(X)=0)=1−n+12n⟶1.
  1. 然而 f(X)∼Bernoulli(2−n),其方差为 2−n(1−2−n)>0,并非 a.s. 常数。
  2. 真正的全局坐标界仍是每个 ci=1:比较全一配置与仅第 i 位为零的配置,函数差恰为 1。

这驳倒了把“以高概率观察到的局部界 ci=0”直接代入 McDiarmid 零宽度情形的做法。对每个固定 n,例外集概率虽小却严格为正;定理要求的是全局替换量词,不是一个逐渐高概率的好事件。

边界的精确位置: 坐标平均 gh(a) 会遇到未来的罕见配置;不能在没有补偿项或额外论证的情况下把它们删除。本例不否定带例外集修正的集中方法,只否定不付代价地替换假设。以上是精确计数推导,不是模拟结果。

5. 今日一问与数学地图 (Question & Map) ​

设 Xi 独立且 Xi∼Bernoulli(p),0<p<1,f 满足坐标界 ci。沿用第 1 节,在固定过去 h 后记

Δi(h)=gh(1)−gh(0).

今日一问: 能否写出 Di 关于 Xi−p 与 Δi(h) 的精确乘积表达式,进而证明

E[Di2∣Fi−1]≤p(1−p)ci2a.s.?

只得到此式后,为什么仍不能直接把 McDiarmid 中的 C 换成 p(1−p)C,并宣称对全部偏差阈值都有同样的纯高斯尾?请比较第 1.1 节“所有倾斜分布的方差”与“原分布的方差”。这保留了真正的证明缺口,留给明日。

地图:

区间内方差界⟶Hoeffding 引理⟶条件宽度与 McDiarmid⟶条件方差预算⟶方差敏感的鞅集中.

随机图接口:对 G(N,p) 的最大割,边坐标敏感度至多一;McDiarmid 改进了昨日常数,却仍不含 p。今天的问题指出稀疏性应从何处进入,但不提前声称已经得到精确大偏差速率或最可能的偏差结构。

附录 A:习题完整解答 (Full Solution) ​

展开完整解答

模板:指数和控制最大值 (log-sum-exp bound for maxima)。

先用题设在 λ=1,−1 处的估计,得到对每个 j,

Ee|Yj|≤EeYj+Ee−Yj≤2eσ2/2<∞.

由 |y|≤e|y|,所有 Yj 可积。令 M=maxjYj,则 |M|≤∑j|Yj|,故 M 可积。

对任意 λ>0,逐点有 eλM≤∑jeλYj,从而

EeλM≤meσ2λ2/2.

Jensen 不等式给出 eλEM≤EeλM。两边取对数并除以 λ:

EM≤log⁡mλ+σ2λ2.

由于 m≥2、σ>0,可取 λ=2log⁡m/σ,即得

EM≤σ2log⁡m.

整个论证没有将指数矩相乘,所以无需 Yj 独立。这个模板把“同时看 m 个量”的代价放进 log⁡m;它也可在有限函数族的一致偏差问题中帮助估计均值,而 McDiarmid 负责该偏差围绕均值的集中。两者作用不同。

资料与来源 (Sources) ​

  1. Maxim Raginsky, Concentration inequalities, 2013-08-29,大学课程讲义,§2(Lemma 1,Hoeffding 引理)、§3(Theorem 2,McDiarmid 不等式及条件区间构造)、§4.2–4.3(经验一致偏差)。本次下载并读取完整 PDF;自动文字提取有数学字体错码,因此公式按证明重新推导,不照抄损坏符号。第 1.1 节的倾斜方差证明是本刊展开,并非声称讲义采用该证明。 https://maxim.ece.illinois.edu/teaching/fall13/notes/concentration.pdf
  2. Terence Tao, “Ask yourself dumb questions”, What's new, “Career advice” 栏目,首发日期本次未确认。作者本人关于数学学习与研究实践的文章;英文短引已与本次直接取得的正文核对,中文为本刊翻译。 https://terrytao.wordpress.com/career-advice/ask-yourself-dumb-questions/

查证范围。 截至 2026-10-16(Asia/Shanghai);按数学质量选材,不设发表时间回看门槛。当日 RSS 发现投影状态为成功,但只作选题线索,本期未用其中条目作引文。先读本地来源目录,再检索学术讲义与打开作者原文;PDF 首次网页提取只返回首尾摘要,已改为下载并阅读全文。第 4 节反例及附录均为本刊完整推导,不冒充外部引文或已运行的计算实验。