Многомерная случайная величина

Многомерная случайная величина или случайный вектор (математика, вероятность и статистика)  - это список математических переменных, значение каждой из которых неизвестно, либо потому что значение еще не произошло, или из-за несовершенного знания о её значении. Индивидуальные переменные в случайном векторе сгруппированы вместе, потому что они являются частью единой математической системы — часто они представляют различные свойства отдельных статистических единиц. Например, пусть какое-то конкретное лицо имеет определенный возраст, рост и вес. Совокупность же этих особенностей у случайного человека из группы будет случайным вектором. Обычно каждый элемент случайного вектора - это действительное число.

Случайные вектора часто используют в качестве базовой реализации различных видов совокупности случайных величин, например, случайные матрицы, случайное дерево, случайная последовательность, случайных процессов т. д.

Более формально, многомерной случайной величиной является столбец вектора $\mathbf {X} =(X_{1},...,X_{n})^{T}$ (или ее транспонированная матрица, которая представляет собой вектор-строку), компонентами которого являются скалярные значения случайных величин одном и том же вероятностном пространстве $(\Omega ,{\mathcal {F}},P)$, где $\Omega$ это пространство элементарных событий, ${\mathcal {F}}$ это сигма-алгебра (совокупность всех событий), и $P$ есть вероятность измерения (функция, возвращающая вероятность каждого события ).

Распределение вероятностей

Основная статья: Распределение вероятностей

Каждый случайный вектор порождает вероятностную меру на $\mathbb {R} ^{n}$ с борелевской алгеброй, лежащей в основе сигма-алгебры. Эта мера также известна как совместное распределение вероятностей, совместное распределение или многомерное распределение случайного вектора.

Распределение каждой из компонент случайных величин $X_{i}$ называются маргинальными распределениями. Условное распределение вероятностей  $X_{i}$ учитывая $X_{j}$ является вероятностным распределением $X_{i}$ когда $X_{j}$ известно как конкретное значение.

Операции на случайных векторах

Случайные вектора могут быть подвергнуты тем же алгебраическим операциям как и в случае с неслучайными векторами: сложение, вычитание, умножение на скаляр, и скалярное произведение.

Аналогично, новый случайный вектор $\mathbf {Y}$ можно определить, применяя аффинное преобразование $g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$ для случайного вектора $\mathbf {X}$:

$\mathbf {Y} ={\mathcal {A}}\mathbf {X} +b$, где ${\mathcal {A}}$ это матрица $n\times n$  и $b$ это вектор состоящий из колонки $n\times 1$

Если ${\mathcal {A}}$ обратима и вероятностная плотность  $\textstyle \mathbf {X}$ равна $f_{\mathbf {X} }$,тогда вероятностная плотность  $\mathbf {Y}$

$f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }({\mathcal {A}}^{-1}(y-b))}{|\det {\mathcal {A}}|}}$.

Математическое ожидание, ковариация и кросс-ковариация

Основные статьи: Математическое ожидание и Ковариация

Математическое ожидание или среднее значение случайного вектора $\mathbf {X}$  фиксированный вектор $\operatorname {E} [\mathbf {X} ]$, элементы которого являются ожидаемыми значениями соответствующих случайных величин.

Ковариационная матрица (Также называется дисперсионно-ковариационной матрицей) это случайный вектор $n\times 1$ матрицей которого является матрица размером $n\times n$ в которой (i,j)^ый элемент это ковариация между  i ^ой и  j ^ой случайной величиной. Ковариационная матрица - это математическое ожидание, элемент за элементом, матрицы размером $n\times n$ полученной умножением матриц $[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}$, где верхний индекс T относится к транспонированию указанного вектора:

$\operatorname {Var} [\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{T}].$

В дополнение к этому, $\mathbf {X}$ и $\mathbf {Y}$ ($\mathbf {X}$ имеет $n$ элементов и $\mathbf {Y}$ имеет $p$ элементов ) является матрицей $n\times p$

$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{T}],$

Где опять указанное матричное ожидание принимается поэтапно в матрице. В ней (i,j)^ый элемент это ковариация между i ^ым элементом матрицы $\mathbf {X}$ и j ^ым элементом матрицы $\mathbf {Y} .$ Матрица кроссковариации $\operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]$ легко получается транспонированием полученной $\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]$.

Дополнительные свойства

Ожидание квадратичной формы

Возьмем математическое ожидание квадратичной формы в случайном векторе X следующим образом:

$\operatorname {E} (X^{T}AX)=[\operatorname {E} (X)]^{T}A[\operatorname {E} (X)]+\operatorname {tr} (AC),$

Где C - ковариационная матрица X, а tr - это след матрицы, то есть сумма элементов на его главной диагонали (от верхнего левого к правому нижнему). Так как квадратичная форма является скаляром, то это и ее математическое ожидание.

Доказательство: Пусть $\mathbf {z}$ - случайный вектор размера $m\times 1$ с $\operatorname {E} [\mathbf {z} ]=\mu$ и $\operatorname {Cov} [\mathbf {z} ]=V$ и пусть $A$ - нестохастическая матрица размера  $m\times m$

Тогда, основываясь на базовой формуле ковариации , если мы обозначим $\mathbf {z} '=\mathbf {X}$ и $\mathbf {z} 'A'=\mathbf {Y}$ ( где в дальнейшем основной знак $'$ обозначает транспонирование), мы видим:

$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ']-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]'$

Следовательно,

${\begin{aligned}E(XY')&=\operatorname {Cov} (X,Y)+E(X)E(Y)'\\E(z'Az)&=\operatorname {Cov} (z',z'A')+E(z')E(z'A')'\\&=\operatorname {Cov} (z',z'A')+\mu '(\mu 'A')'\\&=\operatorname {Cov} (z',z'A')+\mu 'A\mu ,\end{aligned}}$

что приводит нас к

$\operatorname {Cov} (z',z'A')=\operatorname {tr} (AV).$

Это верно в связи с тем, что при трассировке без изменения конечного результата можно циклически переставлять матрицы (например, tr (AB) = tr (BA)).

Мы видим, что ковариация

${\begin{aligned}\operatorname {Cov} (z',z'A')&=E\left[\left(z'-E(z')\right)\left(z'A'-E\left(z'A'\right)\right)'\right]\\&=E\left[(z'-\mu ')(z'A'-\mu 'A')'\right]\\&=E\left[(z-\mu )'(Az-A\mu )\right].\end{aligned}}$

и затем

$\left({z-\mu }\right)'\left({Az-A\mu }\right)$

является скаляром, тогда

$(z-\mu )'(Az-A\mu )=\operatorname {tr} \left[{(z-\mu )'(Az-A\mu )}\right]=\operatorname {tr} \left[(z-\mu )'A(z-\mu )\right]$

тривиально. Используя перестановку, получим:

$\operatorname {tr} \left[{(z-\mu )'A(z-\mu )}\right]=\operatorname {tr} \left[{A(z-\mu )(z-\mu )'}\right],$

И, включив это в исходную формулу, получим:

${\begin{aligned}\operatorname {Cov} \left({z',z'A'}\right)&=E\left[{\left({z-\mu }\right)'(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left[A(z-\mu )(z-\mu )'\right]\right]\\&=\operatorname {tr} \left[{A\cdot E\left[(z-\mu )(z-\mu )'\right]}\right]\\&=\operatorname {tr} [AV].\end{aligned}}$

Математическое ожидание произведения двух разных квадратичных форм

Возьмем математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе X с нулевым средним следующим образом:

$\operatorname {E} [X^{T}AX][X^{T}BX]=2\operatorname {tr} (ACBC)+\operatorname {tr} (AC)\operatorname {tr} (BC)$

Где снова C является ковариационной матрицей X. Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром.

Векторный временной ряд

Эволюцию k × 1 случайного вектора $\mathbf {X}$ во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом: