Возвратное состояние

Возвра́тное состоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_{n}\}_{n\geq 0}$. Пусть

$f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1\mid X_{0}=i)$

— вероятность, выйдя из состояния $i$, вернуться в него ровно за $n$ шагов. Тогда

$f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)}$

— вероятность, выйдя из состояния $i$, вернуться в него (за конечное или бесконечное время).

Состояние $i$ называется возвра́тным (рекурре́нтным), если $f_{ii}=1$. В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратности

Состояние $i$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. $\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$, где $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$.
2. $\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$.

Соответственно, состояние $i$ невозвратно тогда и только тогда, когда выполнено любое из условий:

1. $\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
2. $\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$.

Время возвращения

Предположим, что $X_{0}=i$ почти всюду, и определим случайную величину $T_{i}$, равную времени первого возвращения в состояние $i$, то есть

$T_{i}=\inf\{n\geq 1\mid X_{n}=i\}$.

Тогда $T_{i}$ имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb {P} (T_{i}=n)=f_{ii}^{(n)}$.

Возвратное состояние $i$ называется положи́тельным, если

$\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty$,

и нулевы́м, если

$\mathbb {E} [T_{i}]=\infty$.

Возвратность неразложимого класса

• Если состояния $i$ и $j$ сообщаются, и $i$ — возвратно, то состояние $j$ также возвратно.
• Более того если состояние $i$ положительно, то и состояние $j$ также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.