ワイエルシュトラスの多項式近似定理
概要
$f:[0,1]\to\mathbb{R}$を連続関数とする。このとき、$\{f_n\}_{n=1}^{\infty}$という多項式の列が存在して、$f_n$は$f$に一様収束する。
証明
ここでは、具体的に$f_n$を構成することができる。
$$f_n(x)=\sum_{k=0}^{n}{}_{n}C_{k}f\left(\frac{k}{n}\right) x^k(1-x)^{n-k}$$
この$f_n$が$f$に一様収束することを示す。
$X_k$という確率変数を用意する。この確率変数は、確率$p$で1,確率$1-p$で0となるようなものである。
また、$X_1,X_2,\ldots,X_n$は独立同分布であるとする。
ここで、$S_n=X_1+\cdots+X_n$とする。
このとき、
$$P(S_n=k)={}_{n}C_{k}p^k(1-p)^k$$
である。よって、
$$f_n(p)=\sum_{k=0}^{n}f\left(\frac{k}{n}\right) P(S_n=k)=E\left[f\left(\frac{S_n}{n}\right)\right]$$
となる。
よって、
$$f_n(p)-f(p)=E\left[f\left(\frac{S_n}{n}\right)-f(p)\right]$$
となる。
ここで、三角不等式より
$$|f_n(p)-f(p)|\leq E\left|f\left(\frac{S_n}{n}\right)-f(p)\right|$$
ここで、$\varepsilon\gt 0$を任意に取る。$f$はコンパクト空間上の連続関数なので一様連続。つまりある$\delta\gt 0$が存在して、$|x-y|\lt \delta$なる任意の$x,y$について$|f(x)-f(y)|\lt \varepsilon$
ここで、
$$E\left|f\left(\frac{S_n}{n}\right)-f(p)\right|=E\left[\left|f\left(\frac{S_n}{n}\right)-f(p)\right|;\left|\frac{S_n}{n}-p\right|\geq\delta\right]+E\left[\left|f\left(\frac{S_n}{n}\right)-f(p)\right|;\left|\frac{S_n}{n}-p\right|\lt\delta\right]$$
$f$は$[0,1]$上連続なので、$M:=\sup_{x\in [0,1]}|f(x)|\lt \infty$である。よって、
$$\leq 2MP\left[\left|\frac{S_n}{n}-p\right|\geq \delta\right]+\varepsilon$$
チェビシェフの不等式より、
$$\leq 2M\frac{1}{\delta^2}E[(S_n/n-p)^2]+\varepsilon$$
ここで、
$$E\left[\left(\frac{S_n}{n}-p\right)^2\right]=E\left[\frac{S_n^2}{n^2}\right]-2pE\left[\frac{S_n}{n}\right]+p^2$$
$$=\frac{\sum_{i=1}^{n}E[X_i^2]+\sum_{i\neq j}E[X_iX_j]}{n^2}-2p^2+p^2$$
$$=\frac{n E[X_1^2]}{n^2}+\frac{n(n-1)E[X_1X_2]}{n^2}-p^2$$
$$=\frac{np}{n^2}+\frac{n(n-1)p^2}{n^2}-p^2$$
$$=\frac{p}{n}-\frac{p^2}{n}+p^2-p^2$$
$$=\dfrac{p(1-p)}{n}$$
よって、
$$2M\frac{1}{\delta^2}E[(S_n/n-p)^2]+\varepsilon=\frac{2Mp(1-p)}{\delta^2 n}+\varepsilon\leq \frac{M}{2n\delta^2}+\varepsilon$$
である。ここで、$M $は$f$によって定まる定数、$\varepsilon$は任意の正の定数、$\delta$は$f$と$\varepsilon$に対して定まる正の定数であることに注意。（つまり、この評価は$p$の値に依存していない。）
与えられた$\varepsilon$に対して$n$を$n\geq \dfrac{M}{2\delta^2\varepsilon}$となるように取れば、$|f_n(x)-f(x)|\leq 2\varepsilon$となる。よってこうして誤差を$x$に依らず一様に評価できたため、一様収束することが示された。
