Ланцюги Маркова

Коротко: Ланцюг Маркова — випадковий процес, в якому наступний стан залежить лише від поточного, а не від попередньої історії.

Докладніше: Описується ймовірностями переходів між станами. Приклад: погода, що завтра з ймовірністю 70 % лишається такою самою, як сьогодні.

Подробиці

• Марковська властивість: «відсутність пам’яті». Майбутнє залежить лише від теперішнього.
• Матриця переходів: Матриця P, рядок i якої містить ймовірності переходу зі стану i в усі інші. Кожен рядок у сумі дає 1.
• Стаціонарний розподіл: У довгостроковій перспективі багато ланцюгів встановлюються на фіксовану частку для кожного стану. На цьому ґрунтується початковий метод PageRank (випадковий серфер).
• Застосування: Проста генерація тексту (наступне слово з поточного), моделі черг, розпізнавання мовлення (приховані марковські моделі), MCMC-вибірка.
• Межа: Якщо майбутнє залежить від давніших кроків, потрібні більші стани чи інші моделі. Сучасні мовні моделі йдуть далеко за ці рамки.

Див. також: методи Монте-Карло