Достижимое состояние

Определение

Пусть $\{X_{n}\}_{n\in \mathbb {N} }$ — однородная цепь Маркова с дискретным временем. Состояние $j$ называется достижи́мым из состояния $i$, если существует $n=n(i,j)$ такое, что

$p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0$.

Пишут $i\rightarrow j$.

Сообщающиеся состояния

• Состояния $i$ и $j$ называются сообща́ющимися, если $i\rightarrow j$ и $j\rightarrow i$. Пишем: $i\leftrightarrow j$.
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

• Пусть $\{X_{n}\}_{n\geq 0}$ — цепь Маркова с тремя состояниями $\{1,2,3\}$, и её матрица переходных вероятностей имеет вид

$P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).$

Состояния этой цепи образуют два неразложимых класса: $\{1,2\}$ и $\{3\}$. В частности, $1\leftrightarrow 2$, но $1\not \rightarrow 3$ и $3\not \rightarrow 1$.

• Цепь Маркова, задаваемая матрицей переходных вероятностей

$P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)$,

неразложима.