Независимость (теория вероятностей)

В теории вероятностей два случайных события называются независимыми, если наступление одного из них не изменяет вероятность наступления другого. Аналогично, две случайные величины называют независимыми, если известное значение одной из них не дает информации о другой.

Выпадение очков на костях — независимые события

Независимые события

Будем считать, что дано фиксированное вероятностное пространство $(\Omega ,\;{\mathcal {F}},\;\mathbb {P} )$.

Определение 1. Два события $A,B\in {\mathcal {F}}$ независимы, если

появление события $A$ не меняет вероятности появления события $B$.

Замечание 1. В том случае, если вероятность одного события, скажем $B$, ненулевая, то есть $\mathbb {P} (B)>0$, определение независимости эквивалентно:

$\mathbb {P} (A\mid B)=\mathbb {P} (A),$

то есть условная вероятность события $A$ при условии $B$ равна безусловной вероятности события $A$.

Определение 2. Пусть есть семейство (конечное или бесконечное) случайных событий $\{A_{i}\}_{i\in I}\subset {\mathcal {F}}$, где $I$ — произвольное индексное множество. Тогда эти события попарно независимы, если любые два события из этого семейства независимы, то есть

$\mathbb {P} (A_{i}\cap A_{j})=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j}),\;\forall i\neq j.$

Определение 3. Пусть есть семейство (конечное или бесконечное) случайных событий $\{A_{i}\}_{i\in I}\subset {\mathcal {F}}$. Тогда эти события совместно независимы, если для любого конечного набора этих событий $\{A_{i_{k}}\}_{k=1}^{N}$ верно:

$\mathbb {P} (A_{i_{1}}\cap \ldots \cap A_{i_{N}})=\mathbb {P} (A_{i_{1}})\cdot \ldots \cdot \mathbb {P} (A_{i_{N}}).$

Замечание 2. Совместная независимость, очевидно, влечет попарную независимость. Обратное, вообще говоря, неверно.

Пример 1. Пусть брошены три уравновешенные монеты. Определим события следующим образом:

• $A_{1}$: монеты 1 и 2 упали одной и той же стороной;
• $A_{2}$: монеты 2 и 3 упали одной и той же стороной;
• $A_{3}$: монеты 1 и 3 упали одной и той же стороной;

Легко проверить, что любые два события из этого набора независимы. Все же три в совокупности зависимы, ибо зная, например, что события $A_{1}$ и $A_{2}$ произошли, мы знаем точно, что $A_{3}$ также произошло. Более формально: $\mathbb {P} (A_{i}\cap A_{j})={\frac {1}{4}}={\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{i})\cdot \mathbb {P} (A_{j})\quad \forall i\neq j$. С другой стороны, $\mathbb {P} (A_{1}\cap A_{2}\cap A_{3})={\frac {1}{4}}\neq {\frac {1}{2}}\cdot {\frac {1}{2}}\cdot {\frac {1}{2}}=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2})\cdot \mathbb {P} (A_{3})$.

Независимые сигма-алгебры

Определение 4. Пусть ${\mathcal {A}}_{1},\;{\mathcal {A}}_{2}\subset {\mathcal {F}}$ две сигма-алгебры на одном и том же вероятностном пространстве. Они называются независимыми, если любые их представители независимы между собой, то есть:

$\mathbb {P} (A_{1}\cap A_{2})=\mathbb {P} (A_{1})\cdot \mathbb {P} (A_{2}),\;\forall A_{1}\in {\mathcal {A}}_{1},\;A_{2}\in {\mathcal {A}}_{2}$.

Если вместо двух имеется целое семейство (возможно бесконечное) сигма-алгебр, то для него определяется попарная и совместная независимость очевидным образом.

Независимые случайные величины

Определения

Определение 5. Пусть дано семейство случайных величин $(X_{i})_{i\in I}$, так что $X_{i}\colon \Omega \to \mathbb {R} ,\;\forall i\in I$. Тогда эти случайные величины попарно независимы, если попарно независимы порождённые ими сигма-алгебры $\{\sigma (X_{i})\}_{i\in I}$. Случайные величины независимы в совокупности, если таковы порождённые ими сигма-алгебры.

Следует отметить, что на практике, если это не выводится из контекста, считается, что независимость означает независимость в совокупности.

Определение, данное выше, эквивалентно любому другому из нижеперечисленных. Две случайные величины $X,\;Y$ независимы тогда и только тогда, когда:

• Для любых $A,\;B\in {\mathcal {B}}(\mathbb {R} )$:

$\mathbb {P} (X\in A,\;Y\in B)=\mathbb {P} (X\in A)\cdot \mathbb {P} (Y\in B)=\mathbb {P} (\left\{\omega :X(\omega )\in A,~\omega \in \Omega \right\})\cdot \mathbb {P} (\left\{\omega :Y(\omega )\in B,~\omega \in \Omega \right\}).$

• Для любых борелевских функций $f,\;g\colon \mathbb {R} \to \mathbb {R}$ случайные величины $f(X),\;g(Y)$ независимы.
• Для любых ограниченных борелевских функций $f,\;g\colon \mathbb {R} \to \mathbb {R}$:

$\mathbb {E} \left[f(X)g(Y)\right]=\mathbb {E} \left[f(X)\right]\cdot \mathbb {E} \left[g(Y)\right].$

Свойства независимых случайных величин

• Пусть $\mathbb {P} ^{X,\;Y}$ — распределение случайного вектора $(X,\;Y)$, $\mathbb {P} ^{X}$ — распределение $X$ и $\mathbb {P} ^{Y}$ — распределение $Y$. Тогда $X,\;Y$ независимы тогда и только тогда, когда

$\mathbb {P} ^{X,\;Y}=\mathbb {P} ^{X}\otimes \mathbb {P} ^{Y},$

где $\otimes$ обозначает (прямое) произведение мер.

• Пусть $F_{X,\;Y},\;F_{X},\;F_{Y}$ — кумулятивные функции распределения $(X,\;Y),\;X,\;Y$ соответственно. Тогда $X,\;Y$ независимы тогда и только тогда, когда

$F_{X,\;Y}(x,\;y)=F_{X}(x)\cdot F_{Y}(y).$

• Пусть случайные величины $X,\;Y$ дискретны. Тогда они независимы тогда и только тогда, когда

$\mathbb {P} (X=i,\;Y=j)=\mathbb {P} (X=i)\cdot \mathbb {P} (Y=j).$

• Пусть случайные величины $X,\;Y$ совместно абсолютно непрерывны, то есть их совместное распределение имеет плотность $f_{X,\;Y}(x,\;y)$. Тогда они независимы тогда и только тогда, когда

$f_{X,\;Y}(x,\;y)=f_{X}(x)\cdot f_{Y}(y),\;\forall (x,\;y)\in \mathbb {R} ^{2}$,

где $f_{X}(x),\;f_{Y}(y)$ — плотности случайных величин $X$ и $Y$ соответственно.

• Пусть случайные величины $X,\;Y$ — независимы и обладают конечной дисперсией. Тогда они не являются коррелированными.
• Любой набор независимых в совокупности случайных величин является попарно независимым, но не все попарно независимые наборы являются независимыми в совокупности. Последнее демонстрирует пример с подбрасыванием монетки, приведённый С. Н. Бернштейном.

n-арная независимость

В общем случае для любого $n\geqslant 2$ можно говорить о $n$-арной независимости. Идея схожа: семейство случайных величин является $n$-арно независимым, если любое его подмножество мощности $n$ является независимым в совокупности. $n$-арная независимость использовалась в теоретической информатике для доказательства теоремы о задаче MAXEkSAT.

См. также

• Произведение мер
• Теорема Тонелли — Фубини
• Лемма Бореля — Кантелли
• Закон нуля или единицы Колмогорова
• Копула

Ссылки

• Russell, Stuart. Artificial Intelligence: A Modern Approach / Stuart Russell, Peter Norvig. — Prentice Hall, 2002. — P. 478. — ISBN 0-13-790395-2.