04-07-2023
Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова (старшего).
Содержание |
Последовательность дискретных случайных величин называется простой цепью Маркова (с дискретным временем), если
Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).
Область значений случайных величин называется простра́нством состоя́ний цепи, а номер — номером шага.
Матрица , где
называется ма́трицей перехо́дных вероя́тностей на -м шаге, а вектор , где
— нача́льным распределе́нием цепи Маркова.
Очевидно, матрица переходных вероятностей является стохастической, то есть
Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть
В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.
Из свойств условной вероятности и определения однородной цепи Маркова получаем:
откуда вытекает специальный случай уравнения Колмогорова — Чепмена:
то есть матрица переходных вероятностей за шагов однородной цепи Маркова есть -я степень матрицы переходных вероятностей за 1 шаг. Наконец,
Семейство дискретных случайных величин называется цепью Маркова (с непрерывным временем), если
Цепь Маркова с непрерывным временем называется однородной, если
Аналогично случаю дискретного времени, конечномерные распределения однородной цепи Маркова с непрерывным временем полностью определены начальным распределением
и ма́трицей перехо́дных фу́нкций (переходных вероятностей)
Матрица переходных вероятностей удовлетворяет уравнению Колмогорова — Чепмена: или
По определению, матрица интенсивностей или, что эквивалентно,
Из уравнения Колмогорова — Чепмена следуют два уравнения:
Для обоих уравнений начальным условием выбирается . Соответствующее решение
Для любого матрица обладает следующими свойствами:
1. Матричные элементы неотрицательны: (неотрицательность вероятностей).
2. Сумма элементов в каждой строке равна 1: (полная вероятность), то есть матрица является стохастической справа (или по строкам).
3. Все собственные числа матрицы не превосходят 1 по абсолютной величине: . Если , то .
4. Собственному числу матрицы соответствует, как минимум, один неотрицательный левый собственный вектор-строка (равновесие): .
5. Для собственного числа матрицы все корневые векторы являются собственными, то есть соответствующие жордановы клетки тривиальны.
Матрица обладает следующими свойствами:
1. Внедиагональные матричные элементы неотрицательны: .
2. Диагональные матричные элементы неположительны: .
3. Сумма элементов в каждой строке равна 0:
4. Действительная часть всех собственных чисел матрицы неположительна: . Если , то
5. Собственному числу матрицы соответствует, как минимум, один неотрицательный левый собственный вектор-строка (равновесие):
6. Для собственного числа матрицы все корневые векторы являются собственными, то есть соответствующие жордановы клетки тривиальны.
Для цепи Маркова с непрерывным временем строится ориентированный граф переходов (кратко — граф переходов) по следующим правилам:
Топологические свойства графа переходов связаны со спектральными свойствами матрицы . В частности, для конечных цепей Маркова верны следующие теоремы:
Рассмотрим цепи Маркова с тремя состояниями и с непрерывным временем, соответствующие графам переходов, представленным на рис. В случае (a) отличны от нуля только следующие недиагональные элементы матрицы интенсивностей — , в случае (b) отличны от нуля только , а в случае (c) — . Остальные элементы определяются свойствами матрицы (сумма элементов в каждой строке равна 0). В результате для графов (a), (b), (c) матрицы интенсивностей имеют вид:
Основное кинетическое уравнение описывает эволюцию распределения вероятностей в цепи Маркова с непрерывным временем. «Основное уравнение» здесь — не эпитет, а перевод термина Master equation. Для вектора-строки распределения вероятностей основное кинетическое уравнение имеет вид:
и совпадает, по существу, с прямым уравнением Колмогорова. В физической литературе чаще используют векторы-столбцы вероятностей и записывают основное кинетическое уравнение в виде, который явно использует закон сохранения полной вероятности:
где
Если для основного кинетического уравнения существует положительное равновесие , то его можно записать в форме
Для основного кинетического уравнения существует богатое семейство выпуклых функций Ляпунова — монотонно меняющихся со временем функций распределения вероятностей. Пусть — выпуклая функция одного переменного. Для любого положительного распределения вероятностей () определим функцию Моримото :
Производная по времени, если удовлетворяет основному кинетическому уравнению, есть
Последнее неравенство справедливо из-за выпуклости .
Классификация состояний и цепей Маркова | |
---|---|
Состояние | апериодическое | возвратное | достижимое | невозвратное | несущественное | нулевое | периодическое | положительное | сообщающееся | существенное |
Цепь | апериодическая | возвратная | невозвратная | неразложимая | нулевая | периодическая | положительная | разложимая | эргодическая |
Цепь Маркова.