Цепи Маркова

Аннотация. Показано, что аппарат цепей Маркова после определенного обобщения позволяет описывать не только вероятностные процессы, но и аналогичные им детерминированные процессы, что существенно расширяет сферу применения этого аппарата.

В статье вводится понятие детерминированных цепей Маркова.

Abstract. It is shown that the apparatus of Markov chains after a certain generalization makes it possible to describe not only probabilistic processes, but also deterministic processes similar to them, which significantly expands the scope of application of this apparatus.

The article introduces the concept of deterministic Markov chains.

Ключевые слова: классическая цепь Маркова, потоки вероятности, обобщенная цепь Маркова, детерминированная цепь Маркова.

Keywords: classical Markov chain, probability flows, generalized Markov chain, deterministic Markov chain.

Цепь Маркова – это распространенный и довольно простой способ моделирования случайных событий.

Используется в самых разных областях, начиная генерацией текста и заканчивая финансовым моделированием.

Самым известным примером является SubredditSimulator.

В данном случае Цепь Маркова используется для автоматизации создания контента во всем subreddit.  [3, c.42]

Цепь Маркова понятна и проста в использовании, т. к. она может быть реализована без использования каких-либо статистических или математических концепций.

Цепь Маркова идеально подходит для изучения вероятностного моделирования и Data Science.

Формально, цепь Маркова – это вероятностный автомат.

Распределение вероятностей переходов обычно представляется в виде матрицы.

Если цепь Маркова имеет N возможных состояний, то матрица будет иметь вид N x N, в которой запись (I, J) будет являться вероятностью перехода из состояния I в состояние J.

Кроме того, такая матрица должна быть стохастической, то есть строки или столбцы в сумме должны давать единицу.

В такой матрице каждая строка будет иметь собственное распределение вероятностей.

Цепь Маркова имеет начальный вектор состояния, представленный в виде матрицы N x 1.

Он описывает распределения вероятностей начала в каждом из N возможных состояний. Запись I описывает вероятность начала цепи в состоянии I. [1, c.83]

Рассмотрим пример цепи Маркова с двумя состояниями, которые могут изменяться в заданные моменты времени.

Пример. Клиент каждый месяц заказывает какой-то товар (услугу) на предприятии сервиса.

Следовательно, клиент в каждом месяце находится в одном из двух состояний: состояние Sq =0: заказ в этом месяце не был сделан; состояние 5, = 1: заказ в этом месяце был сделан.

Поведение клиента случайно, однако частота заказа определяется особенностями поведения клиента и известны условные вероятности заказа.

На основании опыта взаимодействия с клиентом установлено, что если клиент заказал продукцию предприятия в последнем месяце, то вероятность того, что он сделает заказ в данном месяце, равна ям.

Если заказа в последнем месяце не было, то вероятность заказа в текущем месяце равна л0|. Вероятности я,, и я()] являются условными вероятностями, или вероятностями перехода.

Итак, установлено, что условная вероятность заказа в текущем месяце обусловливается лишь тем, сделал клиент заказ в последнем месяце или нет, и не зависит от того, сделал ли он заказ в предыдущие месяцы.

Следовательно, процесс, описывающий поведение клиента, будет марковским с вероятностями перехода я0. и я,,.

Рассматриваемый процесс имеет конечное число состояний |s0, s, |, и система S может принимать то или иное состояние в дискретные моменты времени t= tn, п = 0, 1,..., т.е. является цепью Маркова с двумя состояниями.

Месяц, с которого осуществляется наблюдение за клиентом, считаем начальным и проводим расчеты для двух возможных состояний: клиент не сделал заказ в начальном месяце и клиент сделал заказ в начальном месяце.

Обозначим вероятность того, что клиент заказал товар в последнем месяце, если он в начальном месяце не сделал заказ, как Р0(п).

Если в начальном месяце клиент сделал заказ, то соответствующую вероятность заказа в последнем месяце обозначим как Рх(п).

Наблюдение за клиентом начато в месяце под номером п = 0.

Таким образом, п может принимать значения 0, 1,. [2, c.66]

В приложениях марковских процессов к проблемам бизнеса и экономики одним из важных аспектов является длительное поведение системы, то есть поведение после окончания действия начальных условий.

Предположим, что после очень большого числа периодов вектор состояний в период совпадает с вектором состояний в период и независим от начального вектора состояний, отбрасывая нижний индекс, назовем такой вектор стационарным вектором марковской цепи, описанной матрицей; элементы вектора называются стационарными вероятностями. [2, c.12]

Марковское свойство может встречаться не только в случаях дискретных описаний состояний, но также и в случаях непрерывных описаний состояний системы.

Если это свойство существует у системы с непрерывным множеством состояний, то такую систему называют марковским процессом; если же множество состояний дискретно, то ее называют марковской цепью.