Условное математическое ожидание

См. также: Математическое ожидание

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной (если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием). В этом случае условное математическое ожидание случайной величины $Y$ при условии, что случайная величина $X$ приняла значение $x$ обозначается как $E(Y|X=x)$, соответственно, ее можно рассматривать как функцию от $x$. Эта функция называется функцией регрессии случайной величины $Y$ на случайную величину $X$ и поэтому условное математическое ожидание обозначают как $E(Y|X)$, то есть без указания фиксированного значения $x$.

Условное математическое ожидание - это характеристика условного распределения.

Определения

Будем считать, что дано вероятностное пространство $(\Omega ,{\mathcal {F}},\mathbb {P} )$. Пусть $X:\Omega \to \mathbb {R}$ — интегрируемая случайная величина, то есть $\mathbb {E} \vert X\vert <\infty$. Пусть также ${\mathcal {G}}\subset {\mathcal {F}}$ — σ-подалгебра σ-алгебры ${\mathcal {F}}$.

УМО относительно σ-алгебры

Случайная величина ${\hat {X}}$ называется условным математическим ожиданием $X$ относительно σ-алгебры ${\mathcal {G}}$, если

• ${\hat {X}}$ измерима относительно ${\mathcal {G}}$.
• $\forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{A}\right]=\mathbb {E} [X\mathbf {1} _{A}]$,

где $\mathbf {1} _{A}$ — индикатор события $A$ (иными словами, это характеристическая функция множества-события, аргументом которой является случайная величина или элементарный исход). Условное математическое ожидание обозначается $\mathbb {E} [X\mid {\mathcal {G}}]$.

Пример. Пусть $\Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.$ Положим ${\mathcal {G}}=\{\varnothing ,\{1,2\},\{3,4\},\Omega \}$. Тогда ${\mathcal {G}}$ — σ-алгебра, и ${\mathcal {G}}\subset {\mathcal {F}}$. Пусть случайная величина $X$ имеет вид

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тогда

$\mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.$

УМО относительно семейства событий

Пусть ${\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}$ — произвольное семейство событий. Тогда условным математическим ожиданием $X$ относительно ${\mathcal {C}}$ называется

$\mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]$,

где $\sigma ({\mathcal {C}})$ — минимальная сигма-алгебра, содержащая ${\mathcal {C}}$.

Пример. Пусть $\Omega =\{1,2,3,4\},\,{\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\,\omega =1,\ldots ,4.$ Пусть также $C=\{1,2,3\}$. Тогда $\sigma (C)=\{\varnothing ,\{1,2,3\},\{4\},\Omega \}\subset {\mathcal {F}}$. Пусть случайная величина $X$ имеет вид

$X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4$.

Тогда

$\mathbb {E} [X\mid {\mathcal {C}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16,&\omega =4.\end{matrix}}\right.$

УМО относительно случайной величины

Пусть $Y:\Omega \to \mathbb {R}$ другая случайная величина. Тогда условным математическим ожиданием $X$ относительно $Y$ называется

$\mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]$,

где $\sigma (Y)$ — σ-алгебра, порождённая случайной величиной $Y$.

Другое определение УМО $X$ относительно $Y$ :

$\mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid _{y=Y}$

Такое определение конструктивно описывает алгоритм нахождения УМО:

• найти математическое ожидание случайной величины $X$, принимая $Y$ за константу $y$;
• Затем в полученном выражении $y$ обратно заменить на случайную величину $Y$.

Пример: $X\equiv N(a,\sigma ^{2})$

$\mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}$

Условная вероятность

Пусть $B\in {\mathcal {F}}$ — произвольное событие, и $\mathbf {1} _{B}$ — его индикатор. Тогда условной вероятностью $B$ относительно ${\mathcal {G}}$ называется

$\mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{B}\mid {\mathcal {G}}]$.

Замечания

• Условное математическое ожидание — это случайная величина, а не число.
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если ${\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]$ и ${\hat {X}}_{1}={\hat {X}}_{2}$ $\mathbb {P}$-почти всюду, то ${\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]$. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
• Взяв $A=\Omega$, получаем по определению:

$\mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]$,

и в частности справедлива формула полной вероятности:

$\mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]$.

• Пусть σ-алгебра ${\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})$ порождена разбиением $\{C_{i}\}_{i=1}^{\infty }$. Тогда

$\mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}$.

В частности формула полной вероятности принимает классический вид:

$\mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}$,

а следовательно

$\mathbb {E} [\mathbb {P} (A\mid {\mathcal {G}})]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbb {E} [\mathbf {1} _{C_{i}}]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})=\mathbb {P} (A)$.

Основные свойства

• Если ${\hat {X}}=\mathbb {E} [X\mid Y]$, то существует борелевская функция $h:\mathbb {R} \to \mathbb {R}$, такая что

${\hat {X}}=h(Y)$.

Условное математическое ожидание $X$ относительно события $\{Y=y\}$ по определению равно

$\mathbb {E} [X\mid Y=y]\equiv h(y)$.

• Если $X\geq 0$ п.н., то $\mathbb {E} [X\mid {\mathcal {G}}]\geq 0$ п.н.
• Если $X$ независима от ${\mathcal {G}}$, то

$\mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]$ п.н.

В частности, если $X,Y$ независимые случайные величины, то

$\mathbb {E} [X\mid Y]=\mathbb {E} [X]$ п.н.

• Если ${\mathcal {G}}_{1},{\mathcal {G}}_{2}$ — две σ-алгебры, такие что ${\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}$, то

$\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]$.

• Если $X$ — ${\mathcal {G}}$-измерима, и $Y$ — случайная величина, такая что $Y,XY\in L^{1}$, то

$\mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]$.

• «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

$\mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)$.

Дополнительные свойства

• Теорема Леви о монотонной сходимости;
• Теорема Лебега о мажорируемой сходимости;
• Лемма Фату;
• Неравенство Йенсена.

УМО для дискретных величин

Пусть $Y$ — дискретная случайная величина, чьё распределение задаётся функцией вероятности $\mathbb {P} (Y=y_{j})\equiv p_{Y}(y_{j})=p_{j}>0,\;j=1,2,\ldots$. Тогда система событий $\{Y=y_{j}\}$ является разбиением $\Omega$, и

$\mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}$,

а

$\mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]$,

где $\mathbb {E} _{j}$ означает математическое ожидание, взятое относительно условной вероятности $\mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})$.

Если случайная величина $X$ также дискретна, то

$\mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\,\mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\,p_{X\mid Y}(x_{i}\mid y_{j})$,

где $p_{X\mid Y}$ — условная функция вероятности случайной величины $X$ относительно $Y$.

УМО для абсолютно непрерывных случайных величин

Пусть $X,Y$ — случайные величины, такие что вектор $(X,Y)^{\top }$ абсолютно непрерывен, и его распределение задаётся плотностью вероятности $f_{X,Y}(x,y)$. Введём условную плотность $f_{X\mid Y}$, положив по определению

$f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$,

где $f_{Y}$ — плотность вероятности случайной величины $Y$. Тогда

$\mathbb {E} [X\mid Y]=h(Y)$,

где функция $h$ имеет вид

$h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx$.

В частности,

$\mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx$.

УМО в L²

Рассмотрим пространство случайных величин с конечным вторым моментом $L^{2}$. В нём определены скалярное произведение

$\langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,Y\in L^{2}$,

и порождённая им норма

$\|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}$.

Множество всех случайных величин $L_{\mathcal {G}}^{2}$ с конечным вторым моментом и измеримых относительно ${\mathcal {G}}$, где ${\mathcal {G}}\subset {\mathcal {F}}$, является подпространством $L^{2}$. Тогда оператор $\Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}$, задаваемый равенством

$\Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]$,

является оператором ортогонального проектирования на $L_{\mathcal {G}}^{2}$. В частности:

• Условное математическое ожидание $\mathbb {E} [X\mid {\mathcal {G}}]$ — это наилучшее средне-квадратичное приближение $X$ ${\mathcal {G}}$-измеримыми случайными величинами:

$\|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|$.

• Условное математическое ожидание сохраняет скалярное произведение:

$\langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}$.

• Условное математическое ожидание идемпотентно:

$\Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}$.

См. также

• Условное распределение